我想訪問init腳本存儲在安裝azure數據存儲gen2 dbfs湖
我安裝存儲
dbfs: / / mnt /存儲/容器script.sh
當我試圖訪問它
我得到了一個錯誤:
集群範圍的init腳本dbfs: / / mnt /存儲/容器script.sh失敗:超時異常在5次(debugStr =“init腳本讀取遠程文件”),造成的:. io .FileNotFoundException: / / WORKSPACE_ID / mnt /存儲/容器script.sh:沒有這樣的文件或目錄。
1)我看到這個文件在使用魔法“% sh”命令dbfs筆記本
2)我從這條路可以閱讀使用spark.read……
在文檔中,我發現
https://docs.www.eheci.com/dbfs/unity-catalog.html use-dbfs-while-launching-unity-catalog-clusters -…
磚建議使用DBFS坐騎為init腳本、配置和庫存儲在外部存儲中。這種行為在共享訪問模式下不支持。
當我嚐試訪問這個文件使用
abfss: / /我有一個錯誤:
未能初始化配置storage_name存儲賬戶。dfs.core.windows.net:fs.azure.account檢測到無效的配置值。鍵,造成的:無效的配置值檢測fs.azure.account.key)。
但我使用相同的證書就像在“安裝證書”之前。
和安裝dbfs init腳本有什麼限製嗎?
我擔心工作空間添加id在錯誤消息的路徑
我使用相同的路徑,我使用這個命令:
dbutils.fs.ls(“/ mnt /存儲/集裝箱/script.sh”)
我認為在調用該命令時,集群尚未ADLS跑步所以我不能旅行。所以我應該使用abfss: / /
但如何驗證這個存儲,我嚐試這種方式
https://learn.microsoft.com/en-us/azure/databricks/storage/azure-storage——access-azure-data-lake-st……
使用在火花配置服務主體,但它不工作。
這是存儲應該是公開的嗎?
