有可能通過集群配置工作在高並發性嗎?

[DouglasLinder]

在常規集群,您可以使用:

' ' '

spark.sparkContext._jsc.hadoopConfiguration ()。集(關鍵字,值)

' ' '

這些值然後使用hadoop在執行人配置。

然而,在高並發的集群,試圖這麼做的結果:

> py4j.security。公共org.apache.hadoop.conf Py4JSecurityException:方法。配置org.apache.spark.api.java.JavaSparkContext.hadoopConfiguration() is not whitelisted on class class org.apache.spark.api.java.JavaSparkContext

有解決這個問題的辦法嗎?或者是一個高並發集群類型的限製?

這裏的目標是通過在運行時生成的令牌執行人,這意味著設置(即在集群中的細節設置。集群先進> > >火花引發配置)是不適合。

[Kaniz]

你好@DouglasLinder!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區有一個先回答你的問題。否則我將與我的團隊跟進,回到你soon.Thanks。

[Ryan_Chynoweth]

我不明白為什麼你得到錯誤在高並發集群。像你一樣我能設置配置上麵顯示。

你可以嚐試以下代碼呢?

sc._jsc.hadoopConfiguration ()。集(關鍵字,值)

[DouglasLinder]

對不起,我沒有提到,我選擇“證書透傳”集群,將這些功能添加到集群配置:

spark.databricks.passthrough。使真正的

spark.databricks.pyspark。enableProcessIsolation真實

如果你刪除這那是正常的。

[Ryan_Chynoweth]

明白了。我相當肯定有關透傳的局限性你可能認為。在鏈接它說有局限性SparkContext方法和SparkSession對象。它不顯式地列出你的問題,但我認為它足夠相似的應用。

刪除那些配置為您的環境工作嗎?你需要透傳嗎?