pyspark.streaming.StreamingContext.remember

StreamingContext。 還記得 ( 持續時間:int )→沒有

設置每個DStreams在這種背景下,記住抽樣生成在過去的時間。DStreams記住抽樣隻在有限的時間和釋放時間的垃圾收集。這種方法允許開發人員指定多長時間記住抽樣(如果開發者希望查詢DStream之外的舊數據計算)。

參數

持續時間 int

最小時間(以秒為單位),每個DStream應該記住它的抽樣

以前的

pyspark.streaming.StreamingContext.getOrCreate

下一個

pyspark.streaming.StreamingContext.sparkContext