如何激活ignoreChanges三角洲表read_stream生活嗎?

[adrianlwn]

大家好,

我用DLT(δ生活表)和我實現的一些變化數據捕獲用於重複數據刪除。現在我創建一個下遊表讀取DLT作為流(dlt.read_stream(“<表>”))。

我一直收到這個錯誤:

>檢測數據更新(例如部分- 00000 - 6723832 - a - b8ca - 4表達a20 b576 - d69bd5e42652 c000.snappy.parquet)在源表版本11。這是目前不支持。如果你想忽略更新,設置選項“ignoreChanges”到“真正的”。如果你想反映的數據更新,請重啟該查詢以全新的關卡目錄。

我試過這些選項激活配置:

@dlt。視圖(name = " _wp_strategies_dup "評論=“此表包含測試策略表”,spark_conf = {“ignoreChanges”: "真正的"})

spark.readStream.option (“ignoreChanges”,“真正的”).table (“LIVE.wp_parameters”)

dlt.option (“ignoreChanges”,“真正的”).read_stream (“wp_parameters”)

到目前為止沒有任何工作。是因為與DLT這個配置是不可能的?或者是因為有另一種方式設置此配置?

[Kaniz]

嗨@Hubert杜德克,讓我們看看這個問題,送還給你。

[TH]

任何更新嗎?這可能與dlt很快嗎?

[Valentin1]

我們也會感興趣。這是我們需要處理的關鍵功能的變化數據。否則,我們不能認為DLT雖然我們想要一個可行的解決方案。

[sudhanshu1]

我也麵臨著同樣的問題。有任何更新關於如何使ignoreChanges dlt表好嗎?

下麵是我的代碼不工作

def messages_raw ():

回報(

#負荷增量

spark.readStream

.format (“cloudFiles”)

.option (“cloudFiles。格式”、“json”)

. schema (JSONschema)

.option (“ignoreChanges”,“真正的”)

# .load (“/ mnt / raj-zuk-comparis-poc / * . json消息”))

.load (s3: / / zuk-comparis-poc /))

[Louis_Perreault]

嗨@Kaniz開羅,

我們麵臨著同樣的問題,但“ignoreDeletes”選項。解決這個問題有什麼進展嗎?