我試圖流與數據複製從Fivetran DLT管道直接進入三角洲在另一個數據庫表比DLT管道使用。這不是一個總,我不想再計算整個數據模型每次運行;我隻是想執行插入/更新/刪除。我將使用apply_changes()從白銀黃金,但我收到一個錯誤當我重新運行銀表管道新數據後添加到源表。
我流進管道:
spark.readStream.format(“δ”).table (“fivetran_stage.the_table_name”)
第一次運行,數據加載就好!我認為一切都是工作到Fivetran複製一些數據集的新行。然後我收到這個錯誤:
org.apache.spark.sql.streaming。StreamingQueryException:查詢my_table_name_silver [id = 7 a1f5742 f8ec - 4 ef0 - 94 aa - e1a05b921cad runId = 6 a42568b - 6 - c1a - 461 - c - 98 ef - 0860 e5198e79]終止與例外:發現一個數據更新(例如部分- 00000 - 95 - d473e5 - 1819 - 4 - ef0 - 8 c68 - 26 - fc81a8c262.c000.snappy.parquet)在源表14版本。這是目前不支持。如果你想忽略更新,設置選項“ignoreChanges”到“真正的”。如果你想反映的數據更新,請重啟該查詢以全新的關卡目錄。. lang。UnsupportedOperationException:方式檢測到一個數據更新(例如部分- 00000 - 95 - d473e5 - 1819 - 4 - ef0 - 8 c68 - 26 - fc81a8c262.c000.snappy.parquet)在源表14版本。這是目前不支持。如果你想忽略更新,設置選項“ignoreChanges”到“真正的”。如果你想反映的數據更新,請重啟該查詢以全新的關卡目錄。
我認為這是一個試圖使用的結果引發流從三角洲表,如果有另一種方法來處理微批次然後我洗耳恭聽!我不在乎的方法的話,我唯一的目標是能夠運行一個管道,它隻處理記錄變成了黃金。這個過程使用自動加載器讀取.parquet文件工作得很好。流從三角洲表不支持嗎?
