pyspark.streaming.DStream.reduceByKeyAndWindow¶
-
DStream。reduceByKeyAndWindow( 函數:可調用的((V,V],V],invFunc:可選(可調用的((V,V],V]],windowDuration:int,slideDuration:可選(int]=沒有一個,numPartitions:可選(int]=沒有一個,filterFunc:可選(可調用的((元組(K,V]],bool]]=沒有一個 )→pyspark.streaming.dstream.DStream(元組(K,V] ] ¶ -
返回一個新的DStream運用增量reduceByKey滑動窗口。
- 在一個新窗口的值計算使用老窗口的減少值:
-
減少進入的新值窗口(例如,添加新項)
“逆減少”離開了窗口的舊值(例如,減去舊計數)
invFunc可以沒有,那麼它將降低窗口中的所有抽樣,可以低於擁有的invFunc。
- 參數
-
- 函數 函數
-
聯想和交換減少功能
- invFunc 函數
-
逆函數的reduceFunc
- windowDuration int
-
窗口的寬度;必須是一個多個DStream的批處理區間
- slideDuration int,可選
-
滑動窗口的時間間隔(即。,the interval after which the new DStream will generate RDDs); must be a multiple of this DStream’s batching interval
- numPartitions int,可選
-
分區數量的每個新DStream抽樣。
- filterFunc 功能,可選
-
功能鍵值來過濾過期;隻保留對滿足函數設置為null如果你不想過濾器