12-20-202202:04點
我有一個差值表更新夜間使用自動加載程序。合並後,工作開始第二個筆記本清潔和使用一係列的UPDATE語句重寫某些價值,例如,
更新表foo設置field1 = some_value some_condition_is_met的地方
隨著表的增長,這一步是越來越長。我懷疑這是每次掃描整個表。
是否有辦法讓這一步更有效率,即掃描隻有δ更新或添加?
12-22-202205:15我
隨著表的增長是意料中的查詢需要更長的時間。你可以玩分區/表優化(https://www.youtube.com/watch?v=daXEp4HmS-E)或增加您的集群大小。
12-28-202211:42點
我將分區表的日期,自動裝卸機可以使用。您可以過濾您的進一步更新,它就會自動使用分區修剪,隻掃描相關文件。
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。