上周DLT數據質量UI在場。現在沒有。我更改設置嗎?

[MetaRossiVinli]

上周,我開始跑步DLT管道與預期下降流媒體直播表行。在側欄表,我看到一個漂亮的圓形圖以書麵/下降行和失敗的記錄數據。

今天,我跑了一個類似的DLT管道與預期相符,我沒有看到這些數據。我運行一個先進的DLT集群。它是堅固的~ 10分鍾。我檢查和一些行被刪除,因為我主要銀表是20%小於相應的銅表作為數據來源。我擦,數據庫作為一個雙重檢查。

很棒的數據質量圖表/數據去了哪裏?

有設置或數據質量要求我失蹤嗎?

我有文檔(https://docs.www.eheci.com/delta-live-tables/expectations.htm)但我沒有看到什麼特別的,我失蹤。

[匿名 · Accepted solution]

@Kevin羅西:

圓形圖以書麵/下降行和失敗記錄統計,你看到的側邊欄表在三角洲住表(DLT)是一個內置的特性稱為“數據質量標準”,它提供了一個可視化表示的一個表的數據質量。然而,也有一些條件需要滿足這個功能可用,可見:

1. 預期需要表:定義數據質量度量計算基於期望在一個表上定義的。預期使用expect_ *函數定義在DLT,如expect_column_values_to_not_be_null()或expect_column_mean_to_be_between ()。確保您已經定義的期望在你想看的表數據質量指標。
2. 預期需要驗證:在DLT預期不自動驗證,您需要顯式地觸發期望驗證使用validate_expectations()函數。確保你引發了期望驗證定義預期後放在桌子上。
3. 預期需要滿足:數據質量指標顯示隻有在表中定義的期望得到滿足。如果預期並不滿意,數據質量標準可能不會顯示在表的側邊欄。
4. 表需要一個三角洲住表:數據質量指標隻能三角洲DLT生活表中。確保你正在與一個生活表,而不是常規δ表或non-Delta表。

如果你滿足這些條件,仍沒有看到的數據質量標準表的欄,您可能需要檢查是否有任何問題與你的期望或預期驗證過程中是否存在任何錯誤。您還可以檢查DLT日誌對於任何相關信息。我

[MetaRossiVinli]

再次感謝。我在SQL。所以,我明白,沒有必要叫validate_expectations ()。我將解決建議和報告。