遠程RPC客戶端沒有關聯的錯誤

[阿曆克斯]

你好,

我一直試圖提交作業瞬態集群,但它是沒有這個錯誤:

引起的:org.apache.spark。SparkException:工作階段失敗而終止:任務0階段0.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 0.0 (TID 7)(10.139.64.5執行人4):ExecutorLostFailure(執行人4退出正在運行的任務之一所致)原因:遠程RPC客戶端沒有關聯的。可能由於容器超過閾值,或網絡問題。檢查驅動程序日誌來警告消息。

交互式集群上,相同的工作方式工作得很好,同樣的規格(也工作很微小的所以我不得到容器超過…),我在創建集群不指定什麼特殊的事,我不安裝任何特殊圖書館關於火花……我的想法可能是錯誤的,什麼線索嗎?

謝謝

[匿名]

你好,@Alix Metivier -我的名字叫風笛手和我是一個主持人磚。歡迎來到社區和謝謝你的問題。我們會給它一段時間,看看你的成員不得不說。如果我們需要,我們會左右再循環。

提前感謝你的耐心。

[AmanSehgal]

@Alix Metivier你能檢查每個單元的輸出整個筆記本或?

有輸出大小限製的細胞和整個筆記本。

[阿曆克斯]

嗨@Aman Sehgal,我隻是有一個spark.databricks.driver運行的選項。disableScalaOutput設置為true,錯誤依然存在

我不使用筆記本電腦但是我使用運行java jar的提交

[AmanSehgal]

從火花日誌你還能抓住什麼?