增量更新在三角洲住表

[User16752240003]

如果我們改變δ生活的邏輯表和我們做一個增量更新。表會自動複位(刷新)或邏輯隻適用於新傳入的數據嗎?我們會觸發一個重置在這種情況下嗎?

[werners1]

我懷疑這個表被重置,這意味著你永遠不可能改變任何當前的設置。

三角洲的建立旨在使生活更容易,所以我猜這隻新數據。

[Hubert_Dudek1]

δ是事務將被重置,沒什麼可以刪除,但你總是可以使用時間膠囊旅行回到過去

也許你所提到的一件事是分區,覆蓋數據時它將覆蓋所有分區,但您可以使用動態覆蓋,這樣你隻會覆蓋分區的新數據:

spark.conf.set (“spark.sql.sources。partitionOverwriteMode”、“動態”)

[User16752240003 · Accepted solution]

這是我發現何時刷新(重置)表:

如果它是一個完整的表的所有更改將自動應用。

如果表增量表,您需要手動複位(刷新)。

[jose_gonzalez]

嗨@Mojgan Mazouchi,

根據文檔”表增量或完整的。增量表支持更新基於連續到達的數據,而不必再計算整個表。一個完整的表是完全重新計算每個更新。”

這裏的文檔https://docs.www.eheci.com/data-engineering/delta-live-tables/delta-live-tables-user-guide.html dat……