取消
顯示的結果
而不是尋找
你的意思是:

你不應該做一些事在磚!

User16869510359
尊敬的貢獻者

你不應該做一些事在磚!

1回複1

User16869510359
尊敬的貢獻者

OSS火花相比,這些都是一些事情時,用戶不需要擔心在磚上運行相同的工作。

  • 內存管理:磚使用內部的公式分配司機和執行人堆基於實例的大小。這是像spark.driver安全刪除的配置。記憶,spark.executor.memory。
  • 執行人的數量:數量的執行人,任務每執行人executors-related總數配置是沒有必要在Datatbicks運行時工作。默認情況下我們每個實例啟動一個執行者。和任務的數量,可以運行在遺囑執行人將等於總數核心的實例。
  • 避免使用火花。停止,sc.stop:磚管理集群自行關閉,所以不需要停止會話上下文或火花。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map