取消
顯示的結果
而不是尋找
你的意思是:

麻煩引用一個已經添加了模式演化的列(自動加載器與達美住表)

ilarsen
新的貢獻者二世

你好,

我有三角洲住表管道,使用自動加載程序,攝取從JSON文件。我需要做一些轉換——在這種情況下,轉換時間戳。除了一個時間戳列在每個文件不存在。這是導致DLT管道失敗的錯誤列不存在。

我應該前言這個“我很新磚,汽車裝載機和DLT”。我想說我有基礎,依賴於文檔和在線培訓。

我現在的方法是“青銅”層包括這些轉換。所以我在DLT聲明轉換代碼,操作cloudfiles ()。想法就是我們生青銅數據集仍然是原始的,但是在時區時間戳數據提供商的限製,和相關地區從一開始就和用例。

問題是有意義的,在每一個文件的時間戳的問題不存在,所以不在模式時被自動加載器讀取。我的(可能是錯誤的)假設是汽車裝載機和DLT和自動模式演化,我再也沒有看到這種錯誤——帶走你,破SSIS元數據錯誤消息!

但是我的選擇是什麼?這是代碼我失蹤的DLT聲明?還是更多的建築問題——我應該加載原始/銅表按原樣,然後轉換到另一個表之後嗎?

這是目前我所嚐試的一個片段。

創建或更新直播表<原始三角洲住表>選擇<時間戳轉換>。* < convertedTimestamp從下麵幾列在這裏引用的不同輸出>從(選擇> <原始文件。* <轉換代碼,e。g: from_utc_timestamp(> <原始文件。<時間>、<時區>)>從cloud_files convertedTimestamp (“dbfs: <位置>”,“json”)作為<原始文件>)<時區轉換>內連接<另一個表>

請尋找的想法和建議:slightly_smiling_face:

謝謝

0回答0
歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map