OSS火花相比,這些都是一些事情時,用戶不需要擔心在磚上運行相同的工作。
- 內存管理:磚使用內部的公式分配司機和執行人堆基於實例的大小。這是像spark.driver安全刪除的配置。記憶,spark.executor.memory。
- 執行人的數量:數量的執行人,任務每執行人executors-related總數配置是沒有必要在Datatbicks運行時工作。默認情況下我們每個實例啟動一個執行者。和任務的數量,可以運行在遺囑執行人將等於總數核心的實例。
- 避免使用火花。停止,sc.stop:磚管理集群自行關閉,所以不需要停止會話上下文或火花。
