團結和非結構化的“湖”數據目錄嗎?(。png、.ggzip .zarr)

[YSF]

我有圖片,壓縮文件,ADLS gen 2中任意的二進製文件。

在統一目錄我創建了一個存儲憑證和外部位置在目錄包含這些文件的容器。

有什麼方法我可以查看他們在統一目錄沒有強迫他們到一個拚花文件?

也曾創建外部位置,我也希望我能簡單地讀取文件:

' ' '

張開(“abfss: / /路徑/設置/ /外部/位置/ data.zarr’) f:

data = f.read ()

' ' '

我試著這樣做:https://aboutdataai.com.au/tag/unity-catalog/但會得到一個403當我試圖dbutils.fs.ls()目錄的內容我不知道為什麼因為我有授權訪問自己的外部存儲位置。

我還沒有打開直接打開和讀取一個文本文件在同一位置和錯誤的文件不存在。

任何幫助將不勝感激。

對於那些想要更多的細節,我想處理非結構化數據在數據使用磚湖。“山”的方法告訴我被氣餒,因為它們很快就會被棄用。所以我想看看這個新世界的聯合目錄的行為與非結構化數據。不幸的是到目前為止,當然感覺新變化了三角洲湖成三角洲倉庫。

[Aviral-Bhardwaj]

我測試了這對我使用AWS S3它工作正常,請檢查你的代碼了

[YSF]

數據瀏覽,我的外部位置,網址是:

abfss: / / <容器> @ < storage_account > .dfs.core.windows.net

當我點擊“測試連接”說,確認所有權限和特權。

我ADLS文本容器在一個文件夾內的文件URI應該像這樣:

abfss: / / <容器> @ < storage_account >.dfs.core.windows.net/my_folder/my_file.txt

當我運行:

dbutils.fs.ls (“abfss: / / <容器> @ < storage_account >.dfs.core.windows.net/”)

我得到:

ErrorClass = INVALID_PARAMETER_VALUE。LOCATION_OVERLAP)輸入url路徑___與存儲管理

當我運行:

dbutils.fs.ls (“abfss: / / <容器> @ < storage_account >.dfs.core.windows.net/my_folder/”)

我得到一個403年未被授權請求。

我用一個節點集群,與單用戶訪問模式,DBR 11.3 LTS,我充分授予用戶存儲憑證和外部位置統一目錄。

我希望這額外的信息幫助。我不清楚發生了什麼錯誤。

[chiayui]

你好,它是一個已知的缺陷,外部位置不適合Azure存儲賬戶根的位置。請創建一個文件夾的根位置和使用,隨著外部位置。

與外部位置及其權限適當的設置,你可以閱讀它的內容到火花dataframes使用URI (“abfss: / /…”)。磚運行時支持的二進製文件數據源。

讀取文件使用您提供的代碼行(張開(“abfss: / /…”) f:…)不支持。

[Aviral-Bhardwaj]

@Chia-Yui李謝謝你這些信息,我不知道