pyspark.sql.streaming.DataStreamWriter¶
-
類
pyspark.sql.streaming。DataStreamWriter( df:DataFrame ) ¶ -
接口用於編寫一個流
DataFrame外部存儲係統(如文件係統、鍵值存儲等)。使用DataFrame.writeStream來訪問。筆記
這個API是不斷發展的。
方法
foreach(f)集的輸出流查詢處理使用提供的作家
f。foreachBatch(函數)集的輸出流查詢處理使用提供的功能。
格式(源)指定底層輸出數據源。
選項(關鍵字,值)增加了一個輸出選擇基礎數據源。
選項(* *選項)為底層數據源添加了輸出選項。
outputMode(outputMode)指定數據流DataFrame /數據集是如何寫入到流水槽。
partitionBy(*峽路)分區文件係統上的輸出通過給定的列。
queryName(queryName)指定的名稱
StreamingQuery可以開始start ()。開始([路徑、格式、outputMode…))流的內容
DataFrame一個數據源。表(表)別名toTable API
toTable(表,格式、outputMode…))開始流查詢的執行,這將不斷地輸出結果給定表的新數據到來。
觸發(* [processingTime,曾經,…))為流查詢設置觸發器。