取消
顯示的結果
而不是尋找
你的意思是:

遺囑執行人內存增加基於節點類型的限製

938452年
新的因素

嗨磚社區,

我使用磚工作的集群運行一些工作。我設置工人和司機類型AWS m6gd。大,每個線程2的核和8 g的內存。

在看到這是違約執行人2 g內存,我想提高它,設置”spark.executor.memory6克”火花配置集群設置。在設置它,它說我不能把它這樣的數字,表明馬克思價值我能做的就是2 g(見附件)。考慮到工人有8 g內存,為什麼它僅限於2 g ?類似的情況對於大型員工類型,限製似乎遠低於應該是可用的。

1回複1

Kaniz
社區經理
社區經理

@938452,的限製你看到火花執行人內存可能是因為開銷內存保留為內部流程的係統。在火花,火花的遺囑執行人內存由執行人內存(spark.executor.memory內存()和執行程序的開銷spark.executor.memoryOverhead)。執行程序內存開銷是用於JVM堆內存開銷,實習字符串,其他本地費用,等價值spark.executor.memoryOverhead默認是馬克斯(384 .10 * spark.executor.memory)。如果你設置spark.executor.memory8 g,係統可能儲備大約800 mb的內存開銷,離開不到執行人的8 gb內存。

你可以調整spark.executor.memoryOverhead價值較低的百分比為遺囑執行人內存更重要。

然而,小心不要設置過低,可能導致outofmemoryerror錯誤。

然而,請注意,具體的內存分配可以取決於其他因素,如磚的特定配置運行時和AWS實例類型。

來源:
- - - - - -https://docs.www.eheci.com/workflows/jobs/settings.html
- - - - - -https://docs.www.eheci.com/archive/compute/configure.html
- - - - - -https://docs.www.eheci.com/workflows/jobs/jobs - 2.0 api.html

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map