06-12-202202:19點
你好,我想讀表位於Postgreqsl,包含2800萬行。我有以下結果:
“SparkException:工作階段失敗而終止:任務0階段0.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 0.0 (TID 3)(10.139.64.6執行人3):ExecutorLostFailure(執行人3退出正在運行的任務之一所致)原因:遺囑執行人心跳161734毫秒後超時”
你能幫我嗎?
謝謝
07-05-2022上午07:50
這可能是由於兩個原因,可伸縮性或超時。
可伸縮性——你可以考慮增加節點類型。
超時,您可以設置以下集群中的火花配置。
spark.executor。heartbeatInterval 300年代
spark.network.timeout 320年代
在原帖子查看解決方案
07-07-202205:26點
嗨@Boumaza納迪亞,
你是否檢查了執行人3日誌集群時活躍?如果再次得到這個錯誤消息,我會強烈推薦檢查執行者的日誌可以肯定的是這個問題的原因是什麼。
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。