在火花我們可以得到任務內的火花應用程序ID以編程方式使用:
SparkEnv.get.blockManager.conf.getAppId
我們可以嚐試階段ID和任務ID運行任務的使用:
TaskContext.get。stageId TaskContext.get.taskAttemptId
有什麼辦法可以得到火花工作Id關聯到一個運行的任務(最好使用TaskContext或SparkEnv) ?
StackOverflow相關問題:https://stackoverflow.com/questions/70929032/how-to-programmatically-get-the-spark-job-id-of-a-runni..。
嗨@Franklin喬治,
這取決於您使用的是哪種語言。
Scala
https://spark.apache.org/docs/1.6.1/api/scala/index.html org.apache.spark.SparkContext
sc.applicationId
Java
https://spark.apache.org/docs/1.6.2/api/java/org/apache/spark/api/java/JavaSparkContext.html
.applicationId sparkContext.sc () ();
Python
http://spark.apache.org/docs/1.6.2/api/python/pyspark.html pyspark.SparkContext
sc.applicationId
它還可以依靠火花的版本。