Delta Live Tables (DLT)使構建和管理可靠的批處理和流數據管道變得很容易,這些數據管道可以在平台上交付高質量的數據Databricks Lakehouse平Beplay体育安卓版本台.DLT幫助數據工程團隊簡化ETL具有聲明式管道開發、自動數據測試以及用於監視和恢複的深度可見性的開發和管理。
輕鬆構建和維護數據管道
使用Delta Live Tables,可以輕鬆地在SQL或Python中定義端到端數據管道。隻需指定數據源、轉換邏輯和數據的目標狀態——而不是手動將孤立的數據處理作業拚接在一起。自動維護跨管道的所有數據依賴關係,並使用與環境無關的數據管理重用ETL管道。批量運行或流媒體模式,並為每個表指定增量計算或完整計算。
自動數據質量測試
Delta Live Tables幫助確保為下遊用戶提供準確和有用的BI、數據科學和機器學習的高質量數據。通過驗證和完整性檢查防止壞數據流入表,並使用預定義的錯誤策略(失敗、刪除、警報或隔離數據)避免數據質量錯誤。此外,您還可以監視數據質量隨時間的變化趨勢,以了解數據的變化情況以及可能需要更改的地方。
通過高效的計算自動縮放成本效益流
Delta Live Tables Enhanced Autoscaling被設計用來處理尖尖的和不可預測的流工作負載。它通過在維護端到端sla的同時隻擴展到必要的節點數量來優化集群利用率,並在利用率較低時優雅地關閉節點以避免不必要的開銷。
管道監控和可觀察性的深度可見性
通過可視化跟蹤操作統計和數據沿襲的工具,深入了解管道操作。通過自動錯誤處理和輕鬆回放減少停機時間。通過單擊部署和升級加快維護。
用例
統一批處理和流式ETL
生成和運行批處理和流媒體管道在一個地方,具有可控和自動刷新設置,節省時間,降低操作複雜性。對於湖屋上的數據流,使用Delta Live Tables流媒體ETL是最好的開始。
簡化數據管道的部署和測試
通過一個代碼庫隔離和更新數據的不同副本,可以捕獲數據沿襲信息,並用於在任何地方保持數據新鮮。因此,同一組查詢定義可以在開發、登台和生產中運行。
符合監管要求
使用事件日誌捕獲關於表的所有信息,以便自動進行分析和審計。了解數據如何在組織中流動,並滿足法規遵從性要求。
“在殼牌,我們將所有傳感器數據聚合到一個集成數據存儲中。Delta Live Tables幫助我們的團隊節省了管理(數萬億記錄規模)數據的時間和精力,並不斷提高我們的人工智能工程能力。這種能力增強了現有的湖屋架構,Databricks正在顛覆ETL和數據倉庫市場,這對像我們這樣的公司很重要。我們很高興能繼續與Databricks作為創新合作夥伴合作。”
——Dan Jeavons,殼牌公司數據科學總經理
準備好了
開始了嗎?