你好,
環境:
節點:Standard_E8s_v3
磚運行時:9.0
net為Apache 2.0.0火花
我調用火花提交運行. net火花工作在Azure托管數據磚。這份工作是用c#寫的。淨隻有轉換和行動,閱讀一個CSV然後顯示它的記錄。這項工作已經運行遊弋直到最近幾個月,我注意到它不會self-terminate完成後。然後工作執行無限期地保持活躍,直到我手動終止它。
這是應用程序的代碼:
SparkSession火花= SparkSession .Builder () .AppName(“我的應用程序名稱”).GetOrCreate ();字符串路徑= args [0];DataFrame df =火花.Read () .Option(“頭”,“真正的”).Option(“引用”、“\”). csv(路徑);df.Show ();spark.Stop ();
我附上一個司機的Log4j產出的轉儲。
編輯16/12/2021:
相關問題可能是工人拒絕停止在完成他們的工作的工人stderr輸出最終的入口……
DBFS 21/12/16 00:23:10信息:初始化DBFS DBFSV2為委派。
21/12/16 00:23:10信息跑龍套:解決運行命令:WrappedArray (getconf頁大小)
21/12/16 00:23:10信息FileScanRDD:閱讀文件路徑:dbfs: / mnt / opstats /生/蛇/對講機。csv,範圍:0 - 695442,分區值:空行,modificationTime: 1639438344000。
21/12/16 00:23:10信息執行人:完成任務階段0.0 0.0 (TID 0), 1703字節的結果發送給司機
CoarseGrainedExecutorBackend 21/12/16 00:23:16信息:司機命令關閉
21/12/16 00:23:16信息MemoryStore: MemoryStore清除
21/12/16 00:23:16信息BlockManager: BlockManager停了下來
21/12/16 00:23:16錯誤CoarseGrainedExecutorBackend:衰退
有人能解釋這個神秘的問題?
謝謝
蒂姆。
謝謝@Jose岡薩雷斯比我試著刪除這些操作嗎?
是的,你需要刪除它。