處理一個增量更新表被用作一個流源

[困惑]

嗨,所有

我有一個要求δ表上執行更新的來源是流查詢。

我希望能夠更新表和流繼續工作,同時也沒有結束副本。

從我的研究似乎ignoreDeletes選項將不工作我不會更新/刪除基於分區列。ignoreChanges選項看起來也不合適,因為它不僅會產生重複的行我更新,而且任何其他行相同的文件。

有人有什麼建議/程序他們用於類似的過去嗎?

謝謝

[Kaniz]

嗨@Mathew沃爾特!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[Kaniz]

嗨@Mathew沃爾特斯,三角洲湖支持幾個語句來促進三角洲表中刪除的數據和更新數據。

請辦理指南。

https://docs.www.eheci.com/delta/delta-update.html

[Leszek]

可能合並的數據更新到下一個流δ工作嗎?

https://www.youtube.com/watch?v=2Iy5S0Hf4XM

[希莫 · Accepted solution]

嗨@Leszek

對於你的情況ignoreChanges選項將工作,但你從流媒體應用程序需要處理重複而寫作下沉。如果你的水槽可以與δ流合並。

https://docs.www.eheci.com/_static/notebooks/merge-in-streaming.html