BarrierTaskContext。
allGather
這個功能塊,直到所有任務在同一階段達到了這個例程。每個任務傳入消息並返回所有傳入消息的列表,每一個任務。
警告
在一個障礙階段,每個任務具有相同數量的多少allGather ()在所有可能的調用,代碼分支。否則,你可能會得到這份工作後懸掛或SparkException超時。
筆記
這個API是實驗
以前的
pyspark.RDDBarrier.mapPartitionsWithIndex
下一個
pyspark.BarrierTaskContext.attemptNumber