如何激活ignoreChanges三角洲表read_stream生活嗎?

[adrianlwn]

大家好,

我用DLT(δ生活表)和我實現的一些變化數據捕獲用於重複數據刪除。現在我創建一個下遊表讀取DLT作為流(dlt.read_stream(“<表>”))。

我一直收到這個錯誤:

>檢測數據更新(例如部分- 00000 - 6723832 - a - b8ca - 4表達a20 b576 - d69bd5e42652 c000.snappy.parquet)在源表版本11。這是目前不支持。如果你想忽略更新,設置選項“ignoreChanges”到“真正的”。如果你想反映的數據更新,請重啟該查詢以全新的關卡目錄。

我試過這些選項激活配置:

@dlt。視圖(name = " _wp_strategies_dup "評論=“此表包含測試策略表”,spark_conf = {“ignoreChanges”: "真正的"})

spark.readStream.option (“ignoreChanges”,“真正的”).table (“LIVE.wp_parameters”)

dlt.option (“ignoreChanges”,“真正的”).read_stream (“wp_parameters”)

到目前為止沒有任何工作。是因為與DLT這個配置是不可能的?或者是因為有另一種方式設置此配置?

[Kaniz]

嗨@Adrian羅文斯坦文章下麵詳細解釋了一些想法如何解決這個問題。請讓我們知道這有幫助。

此外,本文描述了如何更新表在三角洲住表管道基於源數據的變化。學習如何記錄和查詢為三角洲表行級變化信息,明白了使用三角洲湖變化數據以磚。

您可以使用變化數據捕獲(CDC)三角洲生活表更新表根據源數據的變化。CDC在三角洲地區的生活表支持SQL和Python接口。三角洲生活與緩慢變化維度表支持更新表(SCD) 1型和2型:

• 直接使用的化合物1型更新記錄。不保留曆史記錄更新。
• 使用SCD 2型保留所有更新的曆史記錄。

[adrianlwn]

嗨@Kaniz所有,謝謝你的回答。不幸的是它並沒有解決我的問題。

我的問題是關於三角洲生活表而不是古典三角洲表。我想知道應用建議設置:在DLT ignoreChanges甚至可能……

[Kaniz]

嗨@Adrian洛溫斯坦,我們一直沒有收到你自從我上次反應,我檢查是否你有一個決議。

如果你有任何解決方案,請與社區分享,因為它可以幫助別人。否則,我們將與更多的細節和試圖幫助回應。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

[Hubert_Dudek1]

嗨,團隊@Prabakar Ammeappin @Werner Stinckens @Jose岡薩雷斯@Lindsay奧爾森。最近,我有相同的問題.option (“ignoreChanges”,“真正的”)不是為DLT工作表,這是令人沮喪的也許我們可以獲得一些內部的內髒。