僵屍。net火花磚工作(CourseGrainedExecutorBackend)

[timothy_uk]

你好,

環境:

節點:Standard_E8s_v3

磚運行時:9.0

net為Apache 2.0.0火花

我調用火花提交運行. net火花工作在Azure托管數據磚。這份工作是用c#寫的。淨隻有轉換和行動,閱讀一個CSV然後顯示它的記錄。這項工作已經運行遊弋直到最近幾個月,我注意到它不會self-terminate完成後。然後工作執行無限期地保持活躍,直到我手動終止它。

這是應用程序的代碼:

SparkSession火花= SparkSession .Builder () .AppName(“我的應用程序名稱”).GetOrCreate ();字符串路徑= args [0];DataFrame df =火花.Read () .Option(“頭”,“真正的”).Option(“引用”、“\”). csv(路徑);df.Show ();spark.Stop ();

我附上一個司機的Log4j產出的轉儲。

編輯16/12/2021:

相關問題可能是工人拒絕停止在完成他們的工作的工人stderr輸出最終的入口……

DBFS 21/12/16 00:23:10信息:初始化DBFS DBFSV2為委派。

21/12/16 00:23:10信息跑龍套:解決運行命令:WrappedArray (getconf頁大小)

21/12/16 00:23:10信息FileScanRDD:閱讀文件路徑:dbfs: / mnt / opstats /生/蛇/對講機。csv,範圍:0 - 695442,分區值:空行,modificationTime: 1639438344000。

21/12/16 00:23:10信息執行人:完成任務階段0.0 0.0 (TID 0), 1703字節的結果發送給司機

CoarseGrainedExecutorBackend 21/12/16 00:23:16信息:司機命令關閉

21/12/16 00:23:16信息MemoryStore: MemoryStore清除

21/12/16 00:23:16信息BlockManager: BlockManager停了下來

21/12/16 00:23:16錯誤CoarseGrainedExecutorBackend:衰退

有人能解釋這個神秘的問題?

謝謝

蒂姆。

[Kaniz · Accepted solution]

你好@timothy_uk!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[jose_gonzalez]

嗨@Timothy林,

我將推薦不使用spark.stop()或system . exit(0)在您的代碼,因為它將明確阻止火花上下文但優雅的關閉和握手與磚的工作服務不會發生。

[timothy_uk]

謝謝@Jose岡薩雷斯比我試著刪除這些操作嗎?

[jose_gonzalez]

是的,你需要刪除它。