Delta Live Tables簡介
預覽
此功能已在公共預覽.
Delta Live Tables是一個用於構建可靠、可維護和可測試的數據處理管道的框架。您可以定義要對數據執行的轉換,Delta Live Tables管理任務編排、集群管理、監控、數據質量和錯誤處理。
Delta Live Tables不是使用一係列單獨的Apache Spark任務來定義數據管道,而是根據為每個處理步驟定義的目標模式來管理數據的轉換方式。您還可以使用Delta Live表強製數據質量預期.期望允許您定義期望的數據質量,並指定如何處理未能達到這些期望的記錄。
要開始使用Delta Live Tables:
開發您的第一個Delta Live Tables管道快速入門.
了解基本的Delta Live表概念.
了解如何使用Delta Live Tables創建、運行和管理管道用戶界麵.
了解如何管理Delta Live Tables管道中的數據質量預期.
了解更多關於Delta活動表的信息:
在Delta Live Tables管道中使用外部數據源:數據源
使用Delta Live Tables管道生成的數據:發布的數據
高效地處理在Delta Live Tables管道中不斷到達的數據:流數據處理
在Delta Live Tables管道中使用更改數據捕獲(CDC)處理:使用Delta Live表更改數據捕獲
使用Delta Live Tables API:API指南
使用Delta Live Tables命令行接口:CLI
配置Delta Live Tables管道:管道的設置
分析並報告Delta Live Tables管道:查詢事件日誌
使用流行的工作流編排工具運行Delta Live Tables管道:工作流工具集成
了解如何使用訪問控製列表(acl)在Delta Live Tables管道上配置權限:訪問控製
為Delta Live Tables找到答案和解決方案: