我得到以下錯誤當試圖運行多線程末期——失敗。我猜這是有關內存/工人配置。我見過一些解決方案涉及修改的工人數量或CPU在集群上,然而這並不是我的選擇。如果我不能改變任何集群配置,解決這個錯誤的最好方法是——減少馬克斯工人在我的線程池執行者?
從並發。期貨導入ThreadPoolExecutor ThreadPoolExecutor)遺囑執行人:遺囑執行人。地圖(函數、參數)。錯誤:org.apache.spark。SparkException:工作階段失敗而終止:任務0階段1573.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 1573.0 (TID # # # # #) # # # # # # # #。# # #執行人87):ExecutorLostFailure(執行人87退出正在運行的任務之一所致)原因:遠程RPC客戶端沒有關聯的。可能由於容器超過閾值,或網絡問題。檢查驅動程序日誌來警告消息。
