取消
顯示的結果
而不是尋找
你的意思是:

遠程RPC客戶端沒有關聯的錯誤

阿曆克斯
新的貢獻者三世

你好,

我一直試圖提交作業瞬態集群,但它是沒有這個錯誤:

引起的:org.apache.spark。SparkException:工作階段失敗而終止:任務0階段0.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 0.0 (TID 7)(10.139.64.5執行人4):ExecutorLostFailure(執行人4退出正在運行的任務之一所致)原因:遠程RPC客戶端沒有關聯的。可能由於容器超過閾值,或網絡問題。檢查驅動程序日誌來警告消息。

交互式集群上,相同的工作方式工作得很好,同樣的規格(也工作很微小的所以我不得到容器超過…),我在創建集群不指定什麼特殊的事,我不安裝任何特殊圖書館關於火花……我的想法可能是錯誤的,什麼線索嗎?

謝謝:slightly_smiling_face:

1接受解決方案

接受的解決方案

shan_chandra
尊敬的貢獻者二世
尊敬的貢獻者二世

@Alix Metivier——從用戶拋出錯誤代碼(請調查jar文件附加到集群)。

m80.dbruniv_0_1.dbruniv.tFixedFlowInput_1Process (dbruniv.java: 941)

m80.dbruniv_0_1.dbruniv.run (dbruniv.java: 1654)

m80.dbruniv_0_1.dbruniv.runJobInTOS (dbruniv.java

在原帖子查看解決方案

9回複9

匿名
不適用

你好,@Alix Metivier -我的名字叫風笛手和我是一個主持人磚。歡迎來到社區和謝謝你的問題。我們會給它一段時間,看看你的成員不得不說。如果我們需要,我們會左右再循環。

提前感謝你的耐心。

AmanSehgal
尊敬的貢獻者三世

@Alix Metivier你能檢查每個單元的輸出整個筆記本或?

有輸出大小限製的細胞和整個筆記本。

阿曆克斯
新的貢獻者三世

嗨@Aman Sehgal,我隻是有一個spark.databricks.driver運行的選項。disableScalaOutput設置為true,錯誤依然存在

我不使用筆記本電腦但是我使用運行java jar的提交

AmanSehgal
尊敬的貢獻者三世

從火花日誌你還能抓住什麼?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map