取消
顯示的結果
而不是尋找
你的意思是:

工作失敗後運行時升級

NicolasEscobar
新的貢獻者二世

我有工作在磚運行時的7.3 LTS運行沒有問題。當我升級到8.3失敗錯誤從一個UDF是拋出一個異常:“pyspark.serializers.SerializationError”……SparkContext應該隻被創建和訪問驅動程序

我在筆記本上用applyInPandas施加一個UDF每組。在這個UDF我把數據從雪花利用火花會話(spark.read.format(…))我明白失敗的原因。

我的問題是,為什麼它在7.3 LTS工作現在不工作嗎?改變了什麼?

謝謝,

1接受解決方案

接受的解決方案

User16763506586
貢獻者

dbr - 8.3版本裏使用火花。按遷移向導默認情況下限製使用SparkContext在遺囑執行人。你可以使它通過使用spark.executor.allowSparkContext

在火花3.0及以下,可以創建SparkContext執行人。自3.1火花,會拋出一個異常,當創建SparkContext執行人。你可以通過設置允許配置spark.executor。allowSparkContext當創建SparkContext執行人。

在原帖子查看解決方案

8回答說8

Kaniz
社區經理
社區經理

你好@NicolasEscobar!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將與我的團隊跟進,盡快給你回電。謝謝。

shan_chandra
尊敬的貢獻者二世
尊敬的貢獻者二世

@Nicolas Escobar——你能分享完整的錯誤堆棧跟蹤嗎?

User16763506586
貢獻者

dbr - 8.3版本裏使用火花。按遷移向導默認情況下限製使用SparkContext在遺囑執行人。你可以使它通過使用spark.executor.allowSparkContext

在火花3.0及以下,可以創建SparkContext執行人。自3.1火花,會拋出一個異常,當創建SparkContext執行人。你可以通過設置允許配置spark.executor。allowSparkContext當創建SparkContext執行人。

sean_owen
尊敬的貢獻者二世
尊敬的貢獻者二世

澄清一點火花,你永遠不能使用SparkContext或SparkSession內任務/ UDF。這一直是正確的。如果它工作,這是因為你不小心發送SparkContext因為它在代碼中被捕,但我猜你從未試圖使用它。它就失敗了。現在隻是失敗。

真正的解決方案是改變你的代碼不不小心抓住SparkContext或SparkSession UDF。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map