取消
顯示的結果
而不是尋找
你的意思是:

org.apache.spark。SparkException:工作階段失敗而終止:序列化結果的總規模69 (4.0 GB)大於spark.driver任務。maxResultSize (4.0 GB)

sachinmkp1
新的貢獻者二世

設置spark.conf.set (“spark.driver。maxResultSize”、“20 g”)

得到spark.conf.get (spark.driver.maxResultSize) / / 20克預計在筆記本,我沒有做集群級別設置

仍然得到4 g而執行火花工作,為什麼?

因為這工作是失敗的。

1接受解決方案

接受的解決方案

jose_gonzalez
主持人
主持人

你好@(電子郵件保護),

你需要添加這個火花配置集群級別,不是在筆記本的水平。當你將它添加到集群級別將正確的設置。在這個問題上的更多細節,請檢查我們的知識庫文章https://kb.www.eheci.com/jobs/job-fails-maxresultsize-exception.html

謝謝你!

在原帖子查看解決方案

3回複3

sachinmkp1
新的貢獻者二世

問題是,當我去設置spark.driver。maxResultSize = 20克的筆記本,它不是在執行工作即使我試圖讓spark.driver。maxResultSize價值筆記本我20克。

還需要澄清為什麼它會這樣做嗎?

jose_gonzalez
主持人
主持人

你好@(電子郵件保護),

你需要添加這個火花配置集群級別,不是在筆記本的水平。當你將它添加到集群級別將正確的設置。在這個問題上的更多細節,請檢查我們的知識庫文章https://kb.www.eheci.com/jobs/job-fails-maxresultsize-exception.html

謝謝你!

Kaniz
社區經理
社區經理

你好@(電子郵件保護),@Jose岡薩雷斯的回複回答了你的問題?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map