pyspark.RDD.reduceByKeyLocally

抽樣。 reduceByKeyLocally ( 函數:可調用的((V,V],V] )→Dict類型(K,V]

合並每個鍵使用一個關聯的值和交換減少功能,但立即返回結果主字典。

這也將執行合並每個映射器上本地發送結果減速機之前,類似於一個“組合器”MapReduce。

例子

> > >從操作符進口添加> > >抽樣=sc。並行化(((“一個”,1),(“b”,1),(“一個”,1)))> > >排序(抽樣。reduceByKeyLocally(添加)。項目())[(' a ', 2), (' b ', 1))

以前的

pyspark.RDD.reduceByKey

下一個

pyspark.RDD.repartition