磚閱讀從一個zip文件

[塔裏克]

我已經安裝的Azure Blob存儲Azure filestore磚工作空間。裝容器與csv文件的壓縮文件。最好的辦法是讀什麼壓縮文件和寫入一個增量表嗎?

@sasikumar sagabala

[Debayan · Accepted solution]

嗨@Tarique安瓦爾,Hadoop沒有支持zip文件壓縮編解碼器。在一個文本文件GZip、BZip2和其他支持的壓縮格式可以配置為自動解壓在Apache火花隻要正確的文件擴展名,你必須執行額外的步驟來讀取zip文件。

以下筆記本顯示如何讀取zip文件。後一個zip文件下載到一個臨時目錄中,您可以調用Azure磚

% sh郵政

神奇的命令解壓文件。示例文件中使用的筆記本,尾巴從壓縮後的文件中刪除一個注釋行步。

請參考:https://learn.microsoft.com/en-us/azure/databricks/external-data/zip-files

請讓我們知道這有幫助。

[Rishitha]

你好@Debayan我最近遇到類似的場景中,通過自動裝卸機是否有辦法這樣做。我們每天壓縮文件夾添加AWS S3 bucket,我們希望能夠解壓和負載csv文件不斷(半自動的)