取消
顯示的結果
而不是尋找
你的意思是:

建議有效地清洗和轉換δ表

lawrence009
貢獻者

我有一個差值表更新夜間使用自動加載程序。合並後,工作開始第二個筆記本清潔和使用一係列的UPDATE語句重寫某些價值,例如,

更新表foo設置field1 = some_value some_condition_is_met的地方

隨著表的增長,這一步是越來越長。我懷疑這是每次掃描整個表。

是否有辦法讓這一步更有效率,即掃描隻有δ更新或添加?

2回答2

daniel_sahal
尊敬的貢獻者三世

隨著表的增長是意料中的查詢需要更長的時間。你可以玩分區/表優化(https://www.youtube.com/watch?v=daXEp4HmS-E)或增加您的集群大小。

Jfoxyyc
價值貢獻

我將分區表的日期,自動裝卸機可以使用。您可以過濾您的進一步更新,它就會自動使用分區修剪,隻掃描相關文件。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map