輸入/輸出

DataStreamReader.csv(路徑、模式、sep…))	加載一個CSV文件流並返回結果DataFrame。
DataStreamReader.format(源)	指定輸入數據源格式。
DataStreamReader.json(路徑、模式…)	加載一個JSON文件流並返回結果DataFrame。
DataStreamReader.load([路徑、格式模式])	從數據源加載數據流並返回它DataFrame。
DataStreamReader.option(關鍵字,值)	添加了一個底層數據源的輸入選項。
DataStreamReader.options(* *選項)	增加了底層數據源的輸入選項。
DataStreamReader.orc(道路、mergeSchema…)	加載一個獸人文件流,返回的結果DataFrame。
DataStreamReader.parquet(路徑[…])	加載一個鑲花的文件流,作為一個返回結果DataFrame。
DataStreamReader.schema(模式)	指定輸入模式。
DataStreamReader.text(道路、wholetext…)	加載一個文本文件,並返回一個流DataFrame的模式從一個字符串列命名為“價值”,和緊隨其後的是如果有任何分區的列。
DataStreamWriter.foreach(f)	集的輸出流查詢處理使用提供的作家f。
DataStreamWriter.foreachBatch(函數)	集的輸出流查詢處理使用提供的功能。
DataStreamWriter.format(源)	指定底層輸出數據源。
DataStreamWriter.option(關鍵字,值)	增加了一個輸出選擇基礎數據源。
DataStreamWriter.options(* *選項)	為底層數據源添加了輸出選項。
DataStreamWriter.outputMode(outputMode)	指定數據流DataFrame /數據集是如何寫入到流水槽。
DataStreamWriter.partitionBy(*峽路)	分區文件係統上的輸出通過給定的列。
DataStreamWriter.queryName(queryName)	指定的名稱StreamingQuery可以開始start ()。
DataStreamWriter.start([路徑、格式、…)	流的內容DataFrame一個數據源。
DataStreamWriter.trigger(* […])	為流查詢設置觸發器。

以前的

pyspark.sql.streaming.StreamingQueryListener

下一個

pyspark.sql.streaming.DataStreamReader.csv