06-16-202342我
我們有一個源表接收每日添加操作,但在過去30天內創建的行可以更新或刪除這個表。因此,源表不是流源。
我們處理工作流涉及執行“集團”和聚合源表。由於表的大小,超過1 tb,再計算整個表更新下遊表會帶來了相當大的計算成本。
我的問題是:
物化視圖得到更新當底層源表發生變化時,不需要重新計算整個源表的嗎?如果沒有,我將非常感激你的指導最好的方法來有效地處理這個問題。
06-16-2023上午09:24
如果你的源表是δ表或雲文件DLT可以監視任何變化。
答案我想是的。
這正是DLT物化視圖。
有關詳細信息,請參閱DLT的文檔:
https://learn.microsoft.com/en-us/azure/databricks/delta-live-tables/物化視圖
在原帖子查看解決方案
06-17-202301:48我
嗨@Pongsakorn Chairatanakul
希望一切進行得很順利。
隻是想檢查如果你能解決你的問題。如果是的,你會很高興的答案標記為最好,其他成員可以找到解決方案更快嗎?如果不是,請告訴我們,我們可以幫助你。
幹杯!
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。