磚三角洲的生活表宣布支持簡化變化數據捕獲

隨著組織采用數據lakehouse架構,數據工程師正在尋找有效的方法來捕捉連續到達的數據。即使有正確的工具,實施這一常見用例執行可能是一個挑戰,特別是當操作數據庫複製到lakehouse或後處理數據為每個更新。使用一個可靠的ETL框架開發、監控管理和實施數據管道在規模,我們使它容易實現變化數據捕獲(CDC)到三角洲湖三角洲生活表(DLT)給用戶:

• 簡單和方便:易於使用的api對於識別變化,使您的代碼簡單,方便和容易理解。
• 效率:隻插入或更新的能力行已經改變,與有效的合並,更新和刪除操作。
• 可伸縮性:捕獲和應用的能力與低延遲數據變化在成千上萬的表支持。

三角洲生活表使數據工程師來簡化數據管道開發和維護,使數據團隊迅速自我服務和創新,提供了內置的質量控製和監測,以確保準確和有用的BI,數據科學和毫升和規模讓你通過深可見性與可靠性管道操作,自動錯誤處理和自動伸縮功能。

DLT,疾控中心數據工程師可以很容易地實現一個新的聲明申請變更為API在SQL或Python。這個新功能允許ETL管道容易檢測源數據更改,並將它們應用到整個lakehouse數據集。DLT過程數據變化逐步進入三角洲湖,萎靡不振的記錄插入、更新或刪除在處理疾病預防控製中心事件。下麵的例子顯示了如何容易識別和刪除記錄使用新的API:從客戶表

創建流媒體直播表customer_silver;申請更改成live.customer_silver從流(live.customer_bronze)鍵(id)應用作為刪除當活躍的=0序列通過update_dt;

默認行為是upsert CDC事件從源通過自動更新目標表中的任何行匹配指定的關鍵(s)和插入一個新行如果沒有先前存在匹配的目標表。刪除事件也可能由指定應用時刪除狀態。變成可在所有地區都適用。有關更多信息,請參考文檔(Azure,AWS,GCP)或查看一個例如筆記本電腦。