集群升級後Azure磚從8.3(包括Apache火花3.1.1,Scala 2.12) 9.1 LTS(包括Apache火花3.1.2,Scala 2.12),我斷斷續續的錯誤。

[Darshana_Ganesh]

如下錯誤。錯誤是間歇性的。如。——相同的代碼拋出問題以下3但不拋出問題跑4。然後再拋出問題運行5。

調用o1509.getCause時發生一個錯誤。跟蹤:

py4j.security。公共同步. lang Py4JSecurityException:方法。Throwable org.datanucleus.exceptions.NucleusException.getCause()類類org.datanucleus.exceptions.NucleusDataStoreException不是白名單

py4j.security.WhitelistingPy4JSecurityManager.checkCall (WhitelistingPy4JSecurityManager.java: 473)

py4j.Gateway.invoke (Gateway.java: 294)

py4j.commands.AbstractCommand.invokeMethod (AbstractCommand.java: 132)

py4j.commands.CallCommand.execute (CallCommand.java: 79)

py4j.GatewayConnection.run (GatewayConnection.java: 251)

java.lang.Thread.run (Thread.java: 748)

ErrorMessage寫入ADLS成功. .

org.apache.spark.sql。AnalysisException: org.apache.hadoop.hive.ql.metadata。HiveException:無法alter table。

[Darshana_Ganesh]

在azure磚筆記本:執行以下代碼

打印(spark.version)

8.3(包括Apache火花3.1.1,Scala 2.12),我得到3.1.0輸出

和9.1 LTS(包括Apache火花3.1.2,Scala 2.12),我得到3.1.2

[Kaniz]

嗨@Darshana Ganesh,你能請分享堆棧的代碼嗎?

[匿名]

你好,@Darshana Ganesh -我的名字叫風笛手,我是主持人磚。謝謝你的問題和額外的信息。之前我們給社區的一些時間回答如果我們需要,我們回圈。

[User16764241763 · Accepted solution]

你好@Darshana Ganesh

你設置”spark.databricks.pyspark。enablePy4JSecurity”:“真正”的配置表啟用了ACL集群?