三角洲地區生活質量表檢查不同值

[Zii]

你好,

我一直有一個問題確定如何做唯一性檢查質量的檢查。下麵是一個例子。

@dlt。期望(“origin_not_dup”、“起源是有別於起源”)def harmonized_data (): df = dlt.read df(坳“raw_data”)。列:df = df。withColumnRenamed (col col.lower ()) df = df。選擇(“車”,“英裏”,“起源”)返回df

選項,我試過了。

• @dlt。期望(“origin_not_dup”、“起源是有別於起源”)
• @dlt。期望(“origin_not_dup”、“起源是截然不同的”)
• @dlt。期望(“origin_not_dup”、“起源是獨一無二的”)

他們都得到一個錯誤。

由於三角洲住表仍然相對較新,我不能找到如何這樣做。任何指導是感激。

提前謝謝。

[Kaniz · Accepted solution]

嗨@Ramzi Alashabi,使用期望,期望或下降,並期望或失敗的期望與Python或SQL查詢來定義一個數據質量約束。

您可以定義期望與一個或多個數據質量約束在Python中管道使用@expect_all @expect_all_or_drop, @expect_all_or_fail修飾符。

這些修飾符接受Python字典作為參數,其中的關鍵是期望名稱和值是期望約束。

• 你可以探索幾個例子在這裏。

[Kaniz]

嗨@Ramzi Alashabi,我們一直沒有收到你最後的回應我,我被檢查回看到如果你有一個決議。如果你有任何解決方案,請與社區分享,因為它可以幫助別人。否則,我們將與更多的細節和試圖幫助回應。