取消
顯示的結果
而不是尋找
你的意思是:

如何通過編程得到火花工作ID運行引發的任務?

FRG96
新的貢獻者三世

在火花我們可以得到任務內的火花應用程序ID以編程方式使用:

SparkEnv.get.blockManager.conf.getAppId

我們可以嚐試階段ID和任務ID運行任務的使用:

TaskContext.get。stageId TaskContext.get.taskAttemptId

有什麼辦法可以得到火花工作Id關聯到一個運行的任務(最好使用TaskContext或SparkEnv) ?

StackOverflow相關問題:https://stackoverflow.com/questions/70929032/how-to-programmatically-get-the-spark-job-id-of-a-runni..。

6個回答6

Dan_Z
尊敬的貢獻者

@Franklin喬治,老實說,沒有簡單的方法來做到這一點。你唯一的選擇是建立集群日誌交付,這將給你訪問集群的事件日誌文件。這個JSON和事件日誌文件包含所有的信息SparkUI使用(以及更多)。它將您正在尋找的信息但不瑣碎的手工解析。我想不出一個更好的選擇。

嗨@Franklin喬治,

隻是一個友好的後續。你還需要玫瑰或其他反應提供幫助你解決你的問題?請等我們。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map