pyspark.RDDBarrier¶
-
類
pyspark。RDDBarrier( 抽樣:pyspark.rdd.RDD(T] ) ¶ -
包裝一個抽樣障礙階段,這迫使火花發射任務的階段。
RDDBarrier實例是由RDD.barrier ()。筆記
這個API是實驗
方法
mapPartitions(f [, preservesPartitioning])通過應用一個函數返回一個新的抽樣的每個分區包裝抽樣,在任務啟動在舞台上的障礙。
mapPartitionsWithIndex(f […])通過應用一個函數返回一個新的抽樣的每個分區包裝抽樣,而追蹤指數的原始分區。