取消
顯示的結果
而不是尋找
你的意思是:

我應該多久上運行優化δ表?

User16826992666
價值貢獻

我知道重要的是要定期運行優化δ表上,但是經常我應該這樣做嗎?我應該這樣做之後我每次加載數據嗎?

1接受解決方案

接受的解決方案

sajith_appukutt
尊敬的貢獻者二世

它將取決於你怎麼經常更新表和多久你讀它。

如果你有一個每日ETL作業更新三角洲表,它可能是有意義的運行優化它,以便後續讀取結束時將受益於性能改進

但是如果你有流管道如附加數據到三角洲表分區,您可以啟用delta.autoOptimize。optimizeWrite = true,以便它試圖寫出128 MB的文件為每個表分區。你可以有一個單獨的工作安排日常運行優化所有數據不包括當前的一天

如。

優化活動日期< current_timestamp(),間隔1天ZORDER (eventType)

調度優化工作的方式,這樣不會產生衝突與其他並發寫和後續讀取可能受益於壓實和zordering

在原帖子查看解決方案

1回複1

sajith_appukutt
尊敬的貢獻者二世

它將取決於你怎麼經常更新表和多久你讀它。

如果你有一個每日ETL作業更新三角洲表,它可能是有意義的運行優化它,以便後續讀取結束時將受益於性能改進

但是如果你有流管道如附加數據到三角洲表分區,您可以啟用delta.autoOptimize。optimizeWrite = true,以便它試圖寫出128 MB的文件為每個表分區。你可以有一個單獨的工作安排日常運行優化所有數據不包括當前的一天

如。

優化活動日期< current_timestamp(),間隔1天ZORDER (eventType)

調度優化工作的方式,這樣不會產生衝突與其他並發寫和後續讀取可能受益於壓實和zordering

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map