如何通過編程得到火花工作ID運行引發的任務?

[FRG96]

在火花我們可以得到任務內的火花應用程序ID以編程方式使用:

SparkEnv.get.blockManager.conf.getAppId

我們可以嚐試階段ID和任務ID運行任務的使用:

TaskContext.get。stageId TaskContext.get.taskAttemptId

有什麼辦法可以得到火花工作Id關聯到一個運行的任務(最好使用TaskContext或SparkEnv) ?

StackOverflow相關問題:https://stackoverflow.com/questions/70929032/how-to-programmatically-get-the-spark-job-id-of-a-runni..。

[Dan_Z · Accepted solution]

@Franklin喬治,老實說,沒有簡單的方法來做到這一點。你唯一的選擇是建立集群日誌交付,這將給你訪問集群的事件日誌文件。這個JSON和事件日誌文件包含所有的信息SparkUI使用(以及更多)。它將您正在尋找的信息但不瑣碎的手工解析。我想不出一個更好的選擇。

[jose_gonzalez]

嗨@Franklin喬治,

隻是一個友好的後續。你還需要玫瑰或其他反應提供幫助你解決你的問題?請等我們。