有什麼簡單的方法將數據插入到一個表嗎?(Azure ADLS代)

[網狀的]

我一直試圖插入行到一個表在Azure Blob存儲(ADLS Gen 2)基於兩個分區(下麵的示例代碼)。

插入覆蓋表new_clicks_table分區(client_id mm_date)選擇click_id user_id, click_timestamp_gmt, campaign_id, site_url, client_id, mm_date從old_clicks_table mm_date之間的“2022-12-01”和“2022-12-07”和client_id (123456);

然而,使用“插入覆蓋”刪除所有以前的數據表,不僅基於給分區更新數據(即:表中所有數據刪除客戶機ID 123456 2022-12-01,我之前隻剩下數據從2022-12-01到2022-12-07)。

最簡單的方法是什麼表插入數據到我的隻有我的查詢中指定的分區和留住我剩下的數據?

這可以通過使用“插入”和“覆蓋”或我需要使用“合並”嗎?如果是後者,有人可以提供最好的例子如何寫這個數據使用“合並”?

[帕特 · Accepted solution]

嗨@Alex Netelkos,

請檢查參數,動態分區的更多細節:https://docs.www.eheci.com/delta/selective-overwrite.html dynamic-partition-overwrites

謝謝,

帕特。

[網狀的]

你好帕特,

那工作!非常感謝最容易實現。

有沒有辦法讓我添加的片段我火花配置而不是我把它放在每一個查詢運行嗎?

最好的祝願,

網狀的

[帕特]

我認為你應該能夠把它一次,你的筆記本的頂部。引發會話參數,它將使用直到你將重新啟動集群。

[Rishabh264]

嗨@Netty(客戶),

請檢查動態分區參數從這裏:https://docs.www.eheci.com/delta/selective-overwrite.html dynamic-partition-overwrites