取消
顯示的結果
而不是尋找
你的意思是:

構造函數公共org.apache.spark.SparkConf(布爾)不是白名單。

Mikki007
新的貢獻者二世

我的代碼:

從great_expectations。數據源導入SparkDFDatasource

從pyspark。sql進口SparkSession

session_name = ' mk_spark_session '

火花= SparkSession.builder.appName (session_name) .getOrCreate ()

數據源= SparkDFDatasource(火花)

查詢= " SELECT * FROM test_large_table限製10 "

df = spark.sql(查詢)

打印(df)

我在Azure磚運行以上代碼。

火花版本是3.4.0

pyspark是3.4.0

py4j是0.10.9.7

我得到以下錯誤

py4j.security。公共org.apache.spark.SparkConf Py4JSecurityException:構造函數(布爾)不是白名單。

Py4JError:調用None.org.apache.spark.SparkConf時發生一個錯誤。跟蹤:

py4j.security。公共org.apache.spark.SparkConf Py4JSecurityException:構造函數(布爾)不是白名單。

py4j.security.WhitelistingPy4JSecurityManager.checkConstructor (WhitelistingPy4JSecurityManager.java: 451)

py4j.Gateway.invoke (Gateway.java: 256)

py4j.commands.ConstructorCommand.invokeConstructor (ConstructorCommand.java: 80)

py4j.commands.ConstructorCommand.execute (ConstructorCommand.java: 69)

py4j.ClientServerConnection.waitForCommands (ClientServerConnection.java: 195)

py4j.ClientServerConnection.run (ClientServerConnection.java: 115)

java.lang.Thread.run (Thread.java: 750)

1接受解決方案

接受的解決方案

jose_gonzalez
主持人
主持人

你用一個高並發性集群?如果你這樣做,請盡量標準集群上運行這段代碼

在原帖子查看解決方案

2回答2

jose_gonzalez
主持人
主持人

你用一個高並發性集群?如果你這樣做,請盡量標準集群上運行這段代碼

Mikki007
新的貢獻者二世

@Jose岡薩雷斯

是的!是這樣和我們固定它通過使用標準集群所以現在的工作。

但是謝謝!

出於好奇它為什麼不工作在高並發性集群?

謝謝!

Milind

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map