設置spark.conf.set (“spark.driver。maxResultSize”、“20 g”)
得到spark.conf.get (spark.driver.maxResultSize) / / 20克預計在筆記本,我沒有做集群級別設置
仍然得到4 g而執行火花工作,為什麼?
因為這工作是失敗的。
你好@(電子郵件保護),
你需要添加這個火花配置集群級別,不是在筆記本的水平。當你將它添加到集群級別將正確的設置。在這個問題上的更多細節,請檢查我們的知識庫文章https://kb.www.eheci.com/jobs/job-fails-maxresultsize-exception.html
謝謝你!