yarn.nodemanager.resource.memory-mbparameter update

[Andriy_Shevchen]

我目前工作在確定適當的為我的火花應用程序集群大小和我有一個問題關於Hadoop配置參數yarn.nodemanager.resource.memory-mb。從我所看到的,這個參數是負責設置可用內存的物理限製火花容器工作節點上的紗下運行調度程序。我注意到的是,對於任何規模的工作節點,該參數仍然是設定在8192年。這個困擾我,因為它應該暗示即使對工人的集群大小明顯更大,隻有8192 MB內存指定遺囑執行人。我試圖通過設置此屬性通過添加的屬性覆蓋

/home/ubuntu/databricks/spark/dbconf/hadoop/core-site.xml通過集群init腳本文件。然而,即使我把它在那裏,它看起來像它被覆蓋。所以從這裏我想了解:

——這裏設置的限製是否真的把限製遺囑執行人內存用於集群的數量

——如果是這樣,如何/應該覆蓋從其他地方為了妥善利用工人節點上的可用內存

謝謝!

[Kaniz]

你好@Scribd!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[werners1]

磚不使用的紗線(見的這個話題)。

內存分配是由spark.executor.memory處理。

可用內存的數量為每個執行者Java虛擬機(JVM)中分配內存堆。

這裏有一些更多的細節:

Azure

AWS

你也可以做一個測試運行在集群,然後監視工人和司機使用Ganglia,它給你一個視圖的戈因和分配多少內存/使用。

[jose_gonzalez · Accepted solution]

嗨@Andriy舍瓦,

磚不使用的紗線。我建議你嚐試使用磚community edition鏈接熟悉和探索。您可以檢查Ganglia UI,看看集群利用率、內存、cpu、IO等

[Kaniz]

嗨@Andriy舍瓦,隻是一個友好的後續。你還需要幫助,還是上麵的反應幫助你找到解決方案了嗎?請讓我們知道。