取消
顯示的結果
而不是尋找
你的意思是:

如何將這些GC選項進我的磚集群?)(spark.executor.extraJavaOptions)

auser85
新的貢獻者三世

我想嚐試將這些選項納入我的磚集群。

spark.driver。extraJavaOptions - xx: + UseG1GC - xx: + G1SummarizeConcMark spark.executor。extraJavaOptions - xx: + UseG1GC - xx: + G1SummarizeConcMark

如果我把它們放在集群計算- > - >配置- >高級選項- > - >配置火花,火花我的集群無法啟動;

如果我將它們添加到集群計算- > - >配置- >高級選項- >火花- >環境變量,UI稱其非法鍵值對,不會繼續。

1回複1

Aviral-Bhardwaj
尊敬的貢獻者三世

嘿@Andrew福格蒂,我認為這隻是spark-submit命令,不是為集群UI。

請看看這個文檔http://progexc.blogspot.com/2014/12/spark-configuration-mess-solved.html

spark.executor.extraJavaOptions

一係列額外的JVM選項傳遞給執行器。這是由用戶設定。例如,GC設置或其他日誌。注意,設置火花屬性是違法的或者最大堆大小(- xmx)設置這個選項。火花屬性應該設置使用SparkConf對象或spark-defaults。配置文件使用spark-submit腳本。最大堆大小與spark.executor.memory設置可以設置。下麵的符號,如果存在將插值:將取而代之的是應用程序ID和被執行人ID。例如,啟用詳細gc日誌記錄到一個文件命名為遺囑執行人ID / tmp的應用,通過“價值”:

- verbose: gc -Xloggc: / tmp / -.gc

spark.executor.defaultJavaOptions

將返回此配置。

你可以在這裏探索,https://spark.apache.org/docs/latest/configuration.html

謝謝

Aviral

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map