群集Apache Spark配置未應用

在群集的Spark配置中設置的值沒有正確應用。

寫的Gobinath。Viswanathan

最後發布時間:2022年3月4日

問題

集群的火花配置沒有應用值。

導致

這種情況發生在火花配置值在集群配置和初始化腳本中聲明。

當Spark配置值位於多個位置時,init腳本中的配置優先,集群忽略UI中的配置設置。

解決方案

你應該在一個地方定義你的Spark配置值。

選擇在集群配置中定義Spark配置,或者在init腳本中包含Spark配置。

不要兩者都做。

這篇文章有用嗎?