理解和管理Delta Live Tables升級

Delta Live Tables集群使用基於的運行時磚運行時.Databricks自動升級Delta Live Tables運行時,以支持對平台的增強和升級。Beplay体育安卓版本與任何軟件升級一樣,Delta Live Tables運行時升級可能會導致運行管道時出現錯誤或問題。本文描述了使用即將發布的Delta Live Tables運行時版本測試管道的最佳實踐,以及增強管道穩定性的Delta Live Tables特性。

Delta Live Tables運行時通道

通道字段在Delta Live Tables管道設置控製運行管道的Delta Live Tables運行時版本。支持的值為:

  • 預覽使用即將對運行時版本進行的更改來測試管道。

  • 當前的使用當前運行時版本。

默認情況下,管道使用當前的運行時版本。Databricks建議使用當前的生產工作負載的運行時。學習如何使用預覽設置為使用下一個運行時版本測試管道,請參見使用下一個運行時版本自動化測試管道

Delta Live Tables升級過程

Delta Live Tables自動升級Databricks工作區中的運行時,並在升級後監視管道的運行狀況。如果Delta Live Tables檢測到管道由於升級而無法啟動,則管道的運行時版本將恢複到以前的已知良好版本,並自動觸發以下步驟:

請注意

Delta Live Tables僅恢複在生產模式下運行且通道設置為的管道當前的

  • 該管道的Delta Live Tables運行時固定在先前已知的良好版本上。

  • Delta Live Tables UI顯示了一個可視化指示器,指示管道由於升級失敗而被固定到以前的版本。

  • 將此問題通知數據支持。如果問題與運行時中的回歸有關,Databricks將解決該問題。如果問題是由管道使用的自定義庫或包引起的,Databricks將與您聯係以解決問題。

  • 問題解決後,Databricks將再次啟動升級。

最佳實踐

使用下一個運行時版本自動化測試管道

為了確保下一個Delta Live Tables運行時版本的更改不會影響您的管道,請使用Delta Live Tables通道特性:

  1. 創建一個登台管道並將通道設置為預覽

  2. 在Delta Live Tables UI中,創建一個時間表每周運行管道並啟用警報以接收管道故障的電子郵件通知。

  3. 如果您收到失敗通知,但無法解決它,請使用Databricks打開支持票據。

管道附件

Delta Live Tables支持管道中的外部依賴項;方法安裝任何Python包%皮普安裝命令。Delta Live Tables還支持使用全局範圍和集群範圍init腳本.然而,這些外部依賴關係,特別是初始化腳本,增加了運行時升級出現問題的風險。為了降低這些風險,請盡量減少在管道中使用init腳本。如果你的處理需要初始化腳本,自動化測試你的管道以盡早發現問題;看到使用下一個運行時版本自動化測試管道.如果使用init腳本,Databricks建議增加測試頻率。