你好,
我有一個init腳本DBFS工作位置在集群啟動,但當相同的shell腳本文件放在ABFSS位置(ADLS Gen 2存儲)我得到以下init腳本失敗錯誤和集群無法開始。
錯誤信息:“集群範圍的init腳本abfss: / /(電子郵件保護)/ XXXXX RP_Test / pyodbc-install。sh失敗:失敗初始化配置存儲賬戶XXXX.dfs.core.windows.net fs.azure.account檢測到無效的配置值。鍵,造成的:無效的配置值檢測fs.azure.account.key”
在集群上我確保檢查選擇“啟用用戶級數據訪問憑據透傳”和我的用戶帳戶存儲blob貢獻者訪問。
相同的文件,ABFSS DBFS不工作,有什麼我之前應該檢查或配置訪問這個文件雲存儲?
訪問init腳本ADLS Hadoop API使用所以你需要提供正確的火花配置使用屬性由spark.hadoop前綴。例如,如果您使用服務主體,需要下列屬性(來自起程拓殖的示例
spark.hadoop.fs.azure.account.auth。OAuth spark.hadoop.fs.azure.account.oauth.provider類型。org.apache.hadoop.fs.azurebfs.oauth2類型。ClientCredsTokenProvider spark.hadoop.fs.azure.account.oauth2.client.endpointhttps://login.microsoftonline.com/ < azure_tenant_id > / oauth2 /令牌spark.hadoop.fs.azure.account.oauth2.client。id < azure_client_id > spark.hadoop.fs.azure.account.oauth2.client。秘密{{秘密/ < azure_client_secret_secret_scope > / < azure_client_secret_secret_key >}}
訪問init腳本ADLS Hadoop API使用所以你需要提供正確的火花配置使用屬性由spark.hadoop前綴。例如,如果您使用服務主體,需要下列屬性(來自起程拓殖的示例
spark.hadoop.fs.azure.account.auth。OAuth spark.hadoop.fs.azure.account.oauth.provider類型。org.apache.hadoop.fs.azurebfs.oauth2類型。ClientCredsTokenProvider spark.hadoop.fs.azure.account.oauth2.client.endpointhttps://login.microsoftonline.com/ < azure_tenant_id > / oauth2 /令牌spark.hadoop.fs.azure.account.oauth2.client。id < azure_client_id > spark.hadoop.fs.azure.account.oauth2.client。秘密{{秘密/ < azure_client_secret_secret_scope > / < azure_client_secret_secret_key >}}
嗨@Alex奧特
非常感謝,澄清。現在我明白,這可能是通過一個起程拓殖集群設置通過提供憑據ADLS客戶機id、租戶id和秘密。這是否意味著我們不能設置集群使用磚UI當我們需要訪問的init腳本ABFSS位置嗎?我不能硬編碼ADLS憑證在高級選項- >火花配置部分。