取消
顯示的結果
而不是尋找
你的意思是:

除了DLT管道

皮爾斯
新的貢獻者二世

早上好,

我有一些問題與我的DLT管道。

我有一個情況我在bronze-silver加載表從一個SQL數據庫編程(每一行對應一個表來創建)。這讓我的情況有時隻有一半銀表中定義的管道。

這是導致我一些問題,我的黃金表需要也許3銀表。例如,如果silver_A不是定義在管道(可以是形式sql表中刪除非)然後我的黃金表失敗!

我試圖繞過這個限製,通過使用一個試試,除了:

@dlt.table (name = f“黃金”)def live_gold():““數據加載到黃金表。””“試一試:#讀取數據數據= dlt.read (f“silver_A”)除了:data =火花。createDataFrame([],模式=)df =(數據.groupBy (“id”,“campaign_title”) .count () .withColumnRenamed .withColumn (“id”、“src_campaign_id”) (“campaign_id monotonically_increasing_id()))返回df

如果表不能讀取dlt.read(),然後創建一個空dataframe使用。

這是導致我一些奇怪的問題。當我運行我的DLT管道,它不接的等級表,它加載黃金沒有數據(撞擊除外)。然而,它還在我的銀表數據加載,不是連接到黃金!

我唯一一次能讓它工作是當我刪除源數據和加載它(從存儲中刪除賬戶,然後讀)。我的銀表流從一個銅標準的做法。它一旦通過適當的hierarcy /加載黃金,如果我第二次運行它,同樣的問題的回報。

對我來說似乎除了不能正常工作,我不知道如何檢查日誌進一步調查DLT正在做什麼,我知道它找出層次結構在處理之前所以的事情要做。

我也想創建空銀表對象編程而不是處理黃金表,任何意見就好了。

總結,我的問題是:

  • 試著除了支持dlt管道?(加載表)
  • 我怎麼才能看日誌找出訂單在處理我的dlt代碼/發生什麼事了?
  • 有沒有更好的方法處理缺失的表在創建黃金表?

謝謝,

羅比

1回複1

Vidula_Khanna
主持人
主持人

嗨@Robert皮爾斯

很高興認識你,謝謝你的問題!

看看你的同行在社區中有一個回答你的問題。謝謝。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map