寫在Datalake空三角洲文件

[bhag]

你好,

目前,我想寫一個空湖三角洲文件數據,為此我做以下幾點:

• 閱讀拚花從我的著陸區文件(這個文件隻包含模式的SQL表)

df = spark.read.format(鋪).load (landingZonePath)

• 在這之後,我將這個文件轉換成三角洲

df.write.format(“δ”).save (centralizedZonePath)

• 但檢查數據後湖,我沒有看到文件
• 

注意:在landingzone鋪文件模式

[Hubert_Dudek1]

在_delta_log @bhagya年代,文件模式

[Kaniz]

嗨@bhagya年代,隻是一個友好的後續。你還需要幫助,還是@Hubert杜德克(客戶)的反應幫助你找到解決方案了嗎?請讓我們知道。

[Noopur_Nigam · Accepted solution]

嗨@bhagya年代以來你的源文件是空的,沒有數據文件在centralizedZonePath目錄。不是創建e .parquet文件在目標位置。然而,_delta_log三角洲的事務日誌保存元數據格式的數據和表的模式。

在這裏你可以了解更多關於事務日誌://www.eheci.com/discover/diving-into-delta-lake-talks/unpacking-transaction-log

[Kaniz]

嗨@bhagya年代,我們一直沒有收到你的最後回應@Noopur尼噶,我檢查看看你有一項決議。如果你有任何解決方案,請與社區分享,因為它可以幫助別人。否則,我們將與更多的細節和試圖幫助回應。