遠程RPC客戶端沒有關聯的錯誤

[阿曆克斯]

你好,

我一直試圖提交作業瞬態集群,但它是沒有這個錯誤:

引起的:org.apache.spark。SparkException:工作階段失敗而終止:任務0階段0.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 0.0 (TID 7)(10.139.64.5執行人4):ExecutorLostFailure(執行人4退出正在運行的任務之一所致)原因:遠程RPC客戶端沒有關聯的。可能由於容器超過閾值,或網絡問題。檢查驅動程序日誌來警告消息。

交互式集群上,相同的工作方式工作得很好,同樣的規格(也工作很微小的所以我不得到容器超過…),我在創建集群不指定什麼特殊的事,我不安裝任何特殊圖書館關於火花……我的想法可能是錯誤的,什麼線索嗎?

謝謝

[阿曆克斯]

這是所有日誌裏麵有沒多大幫助

[jose_gonzalez]

嗨@Alix Metivier,

你能得到執行者的日誌4 ?似乎這些日誌是司機,而不是執行者。

[阿曆克斯]

問題是由於這樣的事實,我將火花。序列化器”、“org.apache.spark.serializer。KryoSerializer”和“spark.kryo.registrator”火花conf瞬態的集群

刪除他們的工作之後,這是否意味著磚和瞬態不支持kryo嗎?

[shan_chandra · Accepted solution]

@Alix Metivier——從用戶拋出錯誤代碼(請調查jar文件附加到集群)。

m80.dbruniv_0_1.dbruniv.tFixedFlowInput_1Process (dbruniv.java: 941)

m80.dbruniv_0_1.dbruniv.run (dbruniv.java: 1654)

m80.dbruniv_0_1.dbruniv.runJobInTOS (dbruniv.java

[Kaniz]

嗨@Alix Metivier,隻是一個友好的後續。你還需要幫助,或@Shanmugavel Chandrakasu’s響應幫助你找到解決方案了嗎?請讓我們知道。