Delta Live Tables介紹
Delta Live Tables是一個用於構建可靠、可維護和可測試的數據處理管道的框架。定義要對數據執行的轉換,Delta Live Tables管理任務編排、集群管理、監視、數據質量和錯誤處理。
Delta Live Tables不是使用一係列獨立的Apache Spark任務來定義數據管道,而是根據為每個處理步驟定義的目標模式來管理如何轉換數據。您還可以使用Delta Live Tables強製執行數據質量預期.期望允許您定義期望的數據質量,並指定如何處理未達到這些期望的記錄。
要開始使用Delta Live Tables:
方法開發您的第一個Delta Live Tables管道快速入門.
了解基本的Delta Live表概念.
了解如何使用Delta Live表創建、運行和管理管道用戶界麵.
了解如何管理Delta Live Tables管道中的數據質量預期.
了解更多關於Delta Live Tables的信息:
在你的Delta Live Tables管道中使用外部數據源:數據源
使用Delta Live Tables管道生成的數據:發布的數據
高效地處理Delta Live Tables管道中不斷到達的數據:流媒體數據處理
在您的Delta Live Tables管道中使用更改數據捕獲(CDC)處理:使用Delta Live表更改數據捕獲
使用Delta Live Tables API:API指南
使用Delta Live Tables命令行接口:CLI
配置您的Delta Live Tables管道:管道的設置
分析和報告你的Delta Live Tables管道:查詢事件日誌
使用流行的工作流編排工具運行您的Delta Live Tables管道:工作流工具集成
了解如何使用訪問控製列表(acl)在您的Delta Live Tables管道上配置權限:訪問控製
為Delta Live Tables找到答案和解決方案: