取消
顯示的結果
而不是尋找
你的意思是:

遠程RPC客戶端沒有關聯的錯誤

阿曆克斯
新的貢獻者三世

你好,

我一直試圖提交作業瞬態集群,但它是沒有這個錯誤:

引起的:org.apache.spark。SparkException:工作階段失敗而終止:任務0階段0.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 0.0 (TID 7)(10.139.64.5執行人4):ExecutorLostFailure(執行人4退出正在運行的任務之一所致)原因:遠程RPC客戶端沒有關聯的。可能由於容器超過閾值,或網絡問題。檢查驅動程序日誌來警告消息。

交互式集群上,相同的工作方式工作得很好,同樣的規格(也工作很微小的所以我不得到容器超過…),我在創建集群不指定什麼特殊的事,我不安裝任何特殊圖書館關於火花……我的想法可能是錯誤的,什麼線索嗎?

謝謝:slightly_smiling_face:

9回複9

阿曆克斯
新的貢獻者三世

這是所有日誌裏麵有沒多大幫助

嗨@Alix Metivier,

你能得到執行者的日誌4 ?似乎這些日誌是司機,而不是執行者。

阿曆克斯
新的貢獻者三世

問題是由於這樣的事實,我將火花。序列化器”、“org.apache.spark.serializer。KryoSerializer”和“spark.kryo.registrator”火花conf瞬態的集群

刪除他們的工作之後,這是否意味著磚和瞬態不支持kryo嗎?

shan_chandra
尊敬的貢獻者二世
尊敬的貢獻者二世

@Alix Metivier——從用戶拋出錯誤代碼(請調查jar文件附加到集群)。

m80.dbruniv_0_1.dbruniv.tFixedFlowInput_1Process (dbruniv.java: 941)

m80.dbruniv_0_1.dbruniv.run (dbruniv.java: 1654)

m80.dbruniv_0_1.dbruniv.runJobInTOS (dbruniv.java

Kaniz
社區經理
社區經理

嗨@Alix Metivier,隻是一個友好的後續。你還需要幫助,或@Shanmugavel Chandrakasu’s響應幫助你找到解決方案了嗎?請讓我們知道。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map