火花流

核心類

StreamingContext(sparkContext […])	主要入口點火花流功能。
DStream(jrdd_deserializer jdstream, ssc)	離散流(DStream)的基本抽象引發流,是一個連續的序列抽樣(相同類型的)代表一個連續的數據流(見抽樣在火花核心文檔有關抽樣的更多細節)。

流媒體管理

StreamingContext.addStreamingListener(…)	添加一個[[org.apache.spark.streaming.scheduler。StreamingListener]]對象接收係統事件流有關。
StreamingContext.awaitTermination((超時))	等待執行停止。
StreamingContext.awaitTerminationOrTimeout(超時)	等待執行停止。
StreamingContext.checkpoint(目錄)	設置上下文來周期性的檢查點DStream操作掌握容錯。
StreamingContext.getActive()	返回當前活躍StreamingContext(即。,如果有一個上下文啟動但不停止)或沒有。
StreamingContext.getActiveOrCreate(…)	要麼主動StreamingContext(即返回。
StreamingContext.getOrCreate(checkpointPath…)	從檢查點數據重建StreamingContext或創建一個新的StreamingContext。
StreamingContext.remember(持續時間)	設置每個DStreams在這種背景下,記住抽樣生成在過去的時間。
StreamingContext.sparkContext	返回SparkContext StreamingContext有關。
StreamingContext.start()	開始的執行流。
StreamingContext.stop([stopSparkContext,…)	停止與選擇的執行流,確保所有接收的數據被處理。
StreamingContext.transform(dstreams…)	創建一個新的DStream中每個抽樣是通過應用一個函數生成DStreams的抽樣。
StreamingContext.union(* dstreams)	創建一個統一的從多個相同類型的DStreams DStream和滑動時間相同。

輸入和輸出

StreamingContext.binaryRecordsStream(…)	創建一個輸入流,監測Hadoop-compatible為新文件和讀取文件係統平麵固定長度的二進製文件與記錄。
StreamingContext.queueStream(抽樣[…])	從一個隊列創建一個輸入流抽樣或列表。
StreamingContext.socketTextStream(主機名、端口)	創建一個輸入從源主機名:TCP端口。
StreamingContext.textFileStream(目錄)	創建一個輸入流,監測Hadoop-compatible新文件和文件係統讀取文本文件。
DStream.pprint((num))	打印第一DStream num每個抽樣生成的元素。
DStream.saveAsTextFiles(前綴,後綴)	保存每個抽樣在這個DStream文本文件,使用元素的字符串表示。

轉換和行動

DStream.cache()	持續的抽樣DStream使用默認存儲水平(MEMORY_ONLY)。
DStream.checkpoint(間隔)	使這個DStream周期性的檢查點的抽樣
DStream.cogroup(其他[numPartitions])	返回一個新的DStream運用抽樣之間的cogroup DStream和其他DStream。
DStream.combineByKey(createCombiner…[…])	返回一個新的DStream運用combineByKey抽樣。
DStream.context()	返回這個DStream StreamingContext
DStream.count()	返回一個新的DStream每個抽樣有單個元素通過計算每個抽樣生成DStream。
DStream.countByValue()	返回一個新的DStream每個抽樣包含項的每個不同的值在每個抽樣DStream。
DStream.countByValueAndWindow(…[…])	返回一個新的DStream每個抽樣包含不同元素的計數抽樣在這DStream滑動窗口。
DStream.countByWindow(windowDuration…)	返回一個新的DStream每個抽樣生成單個元素通過計算元素的數量在一個窗口DStream。
DStream.filter(f)	返回一個新的DStream隻包含的元素滿足謂詞。
DStream.flatMap(f [, preservesPartitioning])	通過應用一個函數返回一個新的DStream DStream的所有元素,然後壓扁的結果
DStream.flatMapValues(f)	返回一個新的DStream flatmap函數應用到每個鍵值對的值在這個DStream不改變的關鍵。
DStream.foreachRDD(函數)	一個函數應用於每個DStream抽樣。
DStream.fullOuterJoin(其他[numPartitions])	返回一個新的DStream運用抽樣之間的全外連接DStream和其他DStream。
DStream.glom()	返回一個新的DStream抽樣生成通過應用搶DStream()來抽樣。
DStream.groupByKey([numPartitions])	返回一個新的DStream運用groupByKey抽樣。
DStream.groupByKeyAndWindow(windowDuration…)	返回一個新的DStream通過應用groupByKey滑動窗口。
DStream.join(其他[numPartitions])	返回一個新的DStream通過應用之間的“加入”DStream和抽樣其他DStream。
DStream.leftOuterJoin(其他[numPartitions])	返回一個新的DStream運用抽樣之間的左外連接DStream和其他DStream。
DStream.map(f [, preservesPartitioning])	通過應用一個函數返回一個新的DStream DStream的每個元素。
DStream.mapPartitions(f [, preservesPartitioning])	返回一個新的DStream每個抽樣生成通過應用mapPartitions DStream每個抽樣()。
DStream.mapPartitionsWithIndex(f […])	返回一個新的DStream每個抽樣生成通過應用mapPartitionsWithIndex DStream每個抽樣()。
DStream.mapValues(f)	返回一個新的DStream通過應用一個函數映射到值的每一個鍵值對DStream不改變的關鍵。
DStream.partitionBy(numPartitions […])	返回一個副本的DStream每個抽樣分區使用指定的分割者。
DStream.persist(storageLevel)	持續的抽樣DStream與給定的存儲水平
DStream.reduce(函數)	返回一個新的DStream每個抽樣有單個元素通過減少每個抽樣生成DStream。
DStream.reduceByKey(函數[numPartitions])	返回一個新的DStream運用reduceByKey抽樣。
DStream.reduceByKeyAndWindow(invFunc func…)	返回一個新的DStream運用增量reduceByKey滑動窗口。
DStream.reduceByWindow(reduceFunc…)	返回一個新的DStream每個抽樣生成單個元素通過減少對這個DStream滑動窗口中的所有元素。
DStream.repartition(numPartitions)	返回一個新的DStream增加或減少程度的並行性。
DStream.rightOuterJoin(其他[numPartitions])	返回一個新的DStream運用抽樣之間的右外連接DStream和其他DStream。
DStream.slice(開始、結束)	返回所有的抽樣之間的“開始”“結束”(包括兩個)
DStream.transform(函數)	返回一個新的DStream每個抽樣生成通過應用一個函數在每個抽樣DStream。
DStream.transformWith(函數,其他[…])	返回一個新的DStream每個抽樣生成通過應用一個函數在每個抽樣DStream和DStream“其他”。
DStream.union(其他)	返回一個新的DStream統一數據的另一個DStream DStream。
DStream.updateStateByKey(updateFunc […])	返回一個新的“狀態”DStream政府為每個關鍵更新通過給定的函數前的狀態和新價值觀的關鍵的關鍵。
DStream.window(windowDuration [slideDuration])	返回一個新的DStream每個抽樣包含的所有元素在時間滑動窗口中看到這個DStream。

運動

KinesisUtils.createStream(ssc,…[…])	創建一個輸入流,從運動將消息流。
InitialPositionInStream.LATEST
InitialPositionInStream.TRIM_HORIZON

以前的

MLWriter

下一個

pyspark.streaming.StreamingContext