pyspark.BarrierTaskContext¶
-
類
pyspark。BarrierTaskContext¶ -
一個
TaskContext額外的上下文信息和工具的任務在舞台的一個障礙。使用BarrierTaskContext.get ()獲取運行障礙的障礙環境的任務。筆記
這個API是實驗
方法
allGather([信息])這個功能塊,直到所有任務在同一階段達到了這個例程。
”
障礙()集全球屏障和等待,直到所有任務在這個階段達到這一障礙。
得到()返回當前活動
BarrierTaskContext。getLocalProperty(關鍵)得到當地一個屬性集上遊的司機,或沒有失蹤。
返回
BarrierTaskInfo這個障礙階段,所有任務的命令通過分區ID。抽樣的ID分區計算這一任務。
資源()資源分配給的任務。
stageId()階段,這個任務的ID。
一個ID,這個任務是獨一無二的嚐試(在同一個SparkContext,沒有兩個任務嚐試嚐試將共享相同的ID)。