使用DLT非大桌子

[pskchai]

我們有一個源表接收每日添加操作,但在過去30天內創建的行可以更新或刪除這個表。因此,源表不是流源。

我們處理工作流涉及執行“集團”和聚合源表。由於表的大小,超過1 tb,再計算整個表更新下遊表會帶來了相當大的計算成本。

我的問題是:

物化視圖得到更新當底層源表發生變化時,不需要重新計算整個源表的嗎?如果沒有,我將非常感激你的指導最好的方法來有效地處理這個問題。

[成成 · Accepted solution]

如果你的源表是δ表或雲文件DLT可以監視任何變化。

答案我想是的。

這正是DLT物化視圖。

有關詳細信息,請參閱DLT的文檔:

https://learn.microsoft.com/en-us/azure/databricks/delta-live-tables/物化視圖

[Vidula_Khanna]

嗨@Pongsakorn Chairatanakul

希望一切進行得很順利。

隻是想檢查如果你能解決你的問題。如果是的,你會很高興的答案標記為最好,其他成員可以找到解決方案更快嗎?如果不是,請告訴我們,我們可以幫助你。

幹杯!