它將取決於你怎麼經常更新表和多久你讀它。
如果你有一個每日ETL作業更新三角洲表,它可能是有意義的運行優化它,以便後續讀取結束時將受益於性能改進
但是如果你有流管道如附加數據到三角洲表分區,您可以啟用delta.autoOptimize。optimizeWrite = true,以便它試圖寫出128 MB的文件為每個表分區。你可以有一個單獨的工作安排日常運行優化所有數據不包括當前的一天
如。
優化活動日期< current_timestamp(),間隔1天ZORDER (eventType)
調度優化工作的方式,這樣不會產生衝突與其他並發寫和後續讀取可能受益於壓實和zordering
它將取決於你怎麼經常更新表和多久你讀它。
如果你有一個每日ETL作業更新三角洲表,它可能是有意義的運行優化它,以便後續讀取結束時將受益於性能改進
但是如果你有流管道如附加數據到三角洲表分區,您可以啟用delta.autoOptimize。optimizeWrite = true,以便它試圖寫出128 MB的文件為每個表分區。你可以有一個單獨的工作安排日常運行優化所有數據不包括當前的一天
如。
優化活動日期< current_timestamp(),間隔1天ZORDER (eventType)
調度優化工作的方式,這樣不會產生衝突與其他並發寫和後續讀取可能受益於壓實和zordering