ETL框架是第一個自動管理基礎設施並將現代軟件工程實踐引入數據工程的框架，允許數據工程師和分析師專注於轉換數據，而不是管理管道
舊金山——2022年4月5日數據和人工智能公司Databricks是數據湖範式的先驅，今天宣布Delta Live Tables (DLT)的全麵可用性，這是第一個使用簡單聲明方法構建可靠數據管道並自動管理大規模數據基礎設施的ETL框架。將SQL查詢轉換為生產ETL管道通常需要大量繁瑣、複雜的操作工作。通過使用現代軟件工程實踐來自動化數據工程中最耗時的部分，數據工程師和分析師可以專注於交付數據，而不是操作和維護管道。
隨著公司製定戰略，從數據中獲得最大價值，許多公司將聘請昂貴的、高技能的數據工程師——這是一種已經很難獲得的資源——以避免項目延誤和失敗。人們通常不太了解的是，許多延遲或失敗的項目都是由一個核心問題驅動的:如果沒有大量嚴格的操作來保持它們的正常運行，就很難構建自動工作的可靠數據管道。因此，即使在小範圍內，數據從業者的大部分時間都花在工具和管理基礎設施上，以確保這些數據管道不會中斷。
Delta Live Tables是第一個也是唯一一個通過結合現代工程實踐和基礎設施自動管理來解決這個問題的ETL框架，而市場上過去的努力隻解決了一個方麵或另一個方麵。它允許工程師簡單地描述數據轉換的結果，從而簡化了ETL的開發。Delta Live Tables可以理解完整數據管道的依賴關係，並自動消除幾乎所有的手動複雜性。它還使數據工程師能夠將他們的數據視為代碼，並應用現代軟件工程最佳實踐，如測試、錯誤處理、監控和文檔，以更輕鬆地大規模部署可靠的管道。Delta Live Tables完全支持Python和SQL，並針對流和批處理工作負載進行了定製。
Delta Live Tables已經為全球領先的公司提供了生產用例，如仲量聯行、殼牌、Jumbo、麵包金融和ADP。“在ADP，我們正在將我們的人力資源管理數據遷移到湖邊的集成數據存儲中。Delta Live Tables幫助我們的團隊建立了質量控製，由於聲明式api，僅使用SQL支持批處理和實時，它使我們的團隊節省了管理數據的時間和精力，”ADP首席數據官Jack Berkowitz說。
“DLT的力量來自其他人無法做到的事情-結合現代軟件工程實踐並自動管理基礎設施。這是一項改變遊戲規則的技術，它將使數據工程師和分析師比以往任何時候都更有效率，”Databricks首席執行官兼聯合創始人Ali Ghodsi表示。“這也擴大了Databricks的業務範圍;DLT通過單個API支持任何類型的數據工作負載，從而消除了對高級數據工程技能的需求。”
欲知詳情，請瀏覽磚的博客．
對磚
Databricks是一家數據和人工智能公司。全球7000多家組織，包括康卡斯特、康迪納仕、H&M和超過40%的財富500強企業，都依靠Databricks Lakehouse平台來統一他們的數據、分析和人工智能。Beplay体育安卓版本Databricks總部位於舊金山，在全球設有辦事處。Databricks由Apache Spark™、Delta Lake和MLflow的原始創建者創建，其使命是幫助數據團隊解決世界上最棘手的問題。要了解更多信息，請關注Databricks推特，LinkedIn和臉譜網．
媒體接觸：
(電子郵件保護)