我使用磚筆記本的集群支持的火花。很難試圖連接到Azure blob存儲。我使用這個鏈接,直接訪問Azure Blob存儲部分,設置一個帳戶訪問密鑰。我這裏沒有錯誤:
spark.conf。集(“fs.azure.account.key。< your-storage-account-name > .blob.core.windows.net”,“< your-storage-account-access-key >”)
但是接收錯誤當我試著做一個“ls”目錄:
dbutils.fs.ls (“wasbs: / / < your-container-name > @ < your-storage-account-name >.blob.core.windows.net/ < your-directory-name >”)
shaded.databricks.org.apache.hadoop.fs.azure.AzureException: shaded.databricks.org.apache.hadoop.fs.azure.AzureException:無法訪問帳戶中的容器<容器名稱> <存儲帳戶名稱>core.windows.net使用匿名的憑證,憑證中還沒有發現他們的配置。
我有同樣的問題,但通過抽樣API連接(我使用我自己的java適配器azure blob)。的https://docs.www.eheci.com/spark/latest/data-sources/azure/azure-storage.html頁麵底部,您應該創建使用hadoop集群配置包含憑證——訪問密鑰或SAS令牌。
我嚐試訪問密鑰(我隻是試驗),開始工作的很好。
@annashetty你可能想嚐試相同的。
頭我公元前這個問題我是複製粘貼鍵並沒有取代一個< storage-account-name >。這是我的錯但是…這是一個很長的頭鍵名如果你存儲帳戶名稱是通用的。
fs.azure.account.key。< STORAGE-ACCOUNT-NAME >。blob.core.windows.net