三角洲生活表(DLT)使它易於構建和管理批處理和可靠流數據管道,提供高質量的數據磚Lakehouse平台Beplay体育安卓版本。DLT幫助數據工程團隊簡化ETL與聲明性管道發展開發和管理,自動數據測試和深可見性監測和恢複。
輕鬆地構建和維護的數據管道
與達美住表,很容易定義的端到端數據管道在SQL或Python。簡單地指定數據源,轉換邏輯,和目標狀態的數據,而不是手工縫合在一起孤立的數據處理工作。自動維護所有數據依賴關係在管道和重用ETL管道與獨立於環境數據管理。在批處理或運行流媒體模式,為每個表指定增量或完成計算。
自動數據質量檢測
三角洲生活表有助於確保準確和有用的BI,數據科學和機器學習為下遊用戶高質量的數據。防止錯誤數據通過驗證和完整性檢查,避免流入表數據質量的錯誤與預定義的錯誤政策(失敗,下降,警報或檢疫數據)。此外,您可以監視數據質量趨勢隨著時間的推移得到洞察你的數據是如何發展的,變化可能是必要的。
具有成本效益的流媒體通過高效的自動定量計算
三角洲生活表增強自動定量旨在處理流媒體工作負載的和不可預測的。優化集群利用率隻有擴大到必要的節點數量,同時保持端到端sla,和優雅的關閉節點利用率低的時候避免不必要的花費。
深可見性管道監控和可觀察性
獲得深可見性管道操作工具來可視化跟蹤操作數據和數據沿襲。減少停機自動錯誤處理和簡單的重播。加快與單擊部署和升級維護。
殼牌信托三角洲生活表
“在殼牌公司,我們將我們所有的傳感器數據合並為一個綜合數據存儲。三角洲生活表已經幫助我們的團隊在管理數據,節省時間和精力multi-trillion-record規模工程能力,不斷改善我們的人工智能。使用此功能擴充現有lakehouse建築,磚是ETL和數據倉庫市場擾亂,這對像我們這樣的公司是很重要的。我們興奮地繼續與磚作為一個創新的夥伴。”
——總經理丹Jeavons——數據科學、殼
用例
統一批處理和流ETL
兩批處理和構建和運行流媒體管道在一個地方控製和自動刷新設置,節約時間,減少操作的複雜性。lakehouse上的數據流,流ETL與達美住表是最好的起點。
簡化數據管道部署和測試
與不同的副本數據隔離和通過一個代碼庫更新,數據沿襲信息可以捕獲和用來保持新鮮的任何數據。所以相同的查詢集的定義可以運行在開發、分期和生產。
滿足監管要求
獲取所有信息表的自動分析和審計事件日誌。了解數據流經你的組織和滿足合規要求。
