如何將這些GC選項進我的磚集群?)(spark.executor.extraJavaOptions)

[auser85]

我想嚐試將這些選項納入我的磚集群。

spark.driver。extraJavaOptions - xx: + UseG1GC - xx: + G1SummarizeConcMark spark.executor。extraJavaOptions - xx: + UseG1GC - xx: + G1SummarizeConcMark

如果我把它們放在集群計算- > - >配置- >高級選項- > - >配置火花,火花我的集群無法啟動;

如果我將它們添加到集群計算- > - >配置- >高級選項- >火花- >環境變量,UI稱其非法鍵值對,不會繼續。

[Aviral-Bhardwaj]

嘿@Andrew福格蒂,我認為這隻是spark-submit命令,不是為集群UI。

請看看這個文檔http://progexc.blogspot.com/2014/12/spark-configuration-mess-solved.html

spark.executor.extraJavaOptions

一係列額外的JVM選項傳遞給執行器。這是由用戶設定。例如,GC設置或其他日誌。注意,設置火花屬性是違法的或者最大堆大小(- xmx)設置這個選項。火花屬性應該設置使用SparkConf對象或spark-defaults。配置文件使用spark-submit腳本。最大堆大小與spark.executor.memory設置可以設置。下麵的符號,如果存在將插值:將取而代之的是應用程序ID和被執行人ID。例如,啟用詳細gc日誌記錄到一個文件命名為遺囑執行人ID / tmp的應用,通過“價值”:

- verbose: gc -Xloggc: / tmp / -.gc

spark.executor.defaultJavaOptions

將返回此配置。

你可以在這裏探索,https://spark.apache.org/docs/latest/configuration.html

謝謝

Aviral