磚統一目錄共享模式集群Py4J安全問題

[Ian_P]

你好,我得到這個錯誤當試圖使用磚13.1運行時,共享模式(我們需要統一目錄)、多模集群(這在單用戶模式下工作,但是我們需要共享模式):

py4j.security。公共. lang Py4JSecurityException:方法。字符串com.databricks.backend.common.rpc.CommandContext.toJson()類類com.databricks.backend.common.rpc.CommandContext不是白名單

我試過了很多事情在網上包括增加我的火花配置:

spark.databricks.security.py4j.whitelistcom.databricks.backend.common.rpc.CommandContext

spark.driver。extraJavaOptions -Dpy4j.security.allowed.methods = com.databricks.backend.common.rpc.CommandContext

但沒有運氣。有白名單方式 我 錯過什麼?或另一個工作?

[karthik_p]

@Ian_P你能在火花配置設置,請在下麵添加看起來你錯過了假的,我們沒有看到任何明確文章的原因

https://learn.microsoft.com/en-us/answers/questions/1284871/spark-catalog-whitelisted-for-shared-clu..。

spark.databricks.pyspark。enablePy4JSecurity假

[Ian_P]

嗨Karthik磚不會允許我禁用py4j安全。當我添加配置。它將拋出一個錯誤(說我是不允許添加配置)在磚和不允許我確認並重新啟動集群