不能修改Apache Spark的配置值

不能在筆記本電腦中修改Spark配置設置的值。它必須在集群級別設置。

寫的亞當Pavlacka

最後發布時間:2022年5月20日

問題

你想要在記事本中輸入Spark配置的值,然後得到一個不能修改Spark的配置值錯誤。

例如:

sql設置spark.serializer = org.apache.spark.serializer.KryoSerializer %
SQL語句錯誤:AnalysisException:不能修改Spark配置的值:Spark .serializer;

導致

命令不工作SparkConf條目。這是在Spark 3.0及以上版本中設計的。

解決方案

你應該刪除命令SparkConf你筆記本上的條目。

您可以輸入SparkConf值在集群級別的火花配置AWS|Azure|GCP)並重新啟動集群。