如何讀取流查詢使用的變化改變數據提要

[User16826994223 · Accepted solution]

#開始提供一個版本spark.readStream.format(“δ”)\ .option (“readChangeFeed”,“真正的”)\ .option (“startingVersion”, 0) \ .table (myDeltaTable) #提供一個開始時間戳spark.readStream.format(“δ”)\ .option (“readChangeFeed”,“真正的”)\ .option (“startingTimestamp”、“2021-04-21”05:35:43) \ .load (“/ pathToMyDeltaTable”) #不是提供一個最新版本/時間戳將導致快照開始先獲取spark.readStream.format(“δ”)\ .option (“readChangeFeed”,“真正的”)\ .table (“myDeltaTable”)

閱讀時更改數據表,設置選項readChangeFeedto true。

startingVersion或startingTimestamp

是可選的,如果沒有提供流返回最新的表的快照的時候流作為一個插入和未來變化變化數據。速度限製(maxFilesPerTrigger選項

、maxBytesPerTrigger和excludeRegex也支持的變化數據。