建議有效地清洗和轉換δ表

[lawrence009]

我有一個差值表更新夜間使用自動加載程序。合並後,工作開始第二個筆記本清潔和使用一係列的UPDATE語句重寫某些價值,例如,

更新表foo設置field1 = some_value some_condition_is_met的地方

隨著表的增長,這一步是越來越長。我懷疑這是每次掃描整個表。

是否有辦法讓這一步更有效率,即掃描隻有δ更新或添加?

[daniel_sahal]

隨著表的增長是意料中的查詢需要更長的時間。你可以玩分區/表優化(https://www.youtube.com/watch?v=daXEp4HmS-E)或增加您的集群大小。

[Jfoxyyc]

我將分區表的日期,自動裝卸機可以使用。您可以過濾您的進一步更新,它就會自動使用分區修剪,隻掃描相關文件。