取消
顯示的結果
而不是尋找
你的意思是:

ABFSS上磚集群的Init腳本的位置

KJ_Saravana
新的貢獻者三世

你好,

我有一個init腳本DBFS工作位置在集群啟動,但當相同的shell腳本文件放在ABFSS位置(ADLS Gen 2存儲)我得到以下init腳本失敗錯誤和集群無法開始。

錯誤信息:“集群範圍的init腳本abfss: / /(電子郵件保護)/ XXXXX RP_Test / pyodbc-install。sh失敗:失敗初始化配置存儲賬戶XXXX.dfs.core.windows.net fs.azure.account檢測到無效的配置值。鍵,造成的:無效的配置值檢測fs.azure.account.key”

在集群上我確保檢查選擇“啟用用戶級數據訪問憑據透傳”和我的用戶帳戶存儲blob貢獻者訪問。

相同的文件,ABFSS DBFS不工作,有什麼我之前應該檢查或配置訪問這個文件雲存儲?

1接受解決方案

接受的解決方案

alexott
價值貢獻
價值貢獻

訪問init腳本ADLS Hadoop API使用所以你需要提供正確的火花配置使用屬性由spark.hadoop前綴。例如,如果您使用服務主體,需要下列屬性(來自起程拓殖的示例:disappointed_face:

spark.hadoop.fs.azure.account.auth。OAuth spark.hadoop.fs.azure.account.oauth.provider類型。org.apache.hadoop.fs.azurebfs.oauth2類型。ClientCredsTokenProvider spark.hadoop.fs.azure.account.oauth2.client.endpointhttps://login.microsoftonline.com/ < azure_tenant_id > / oauth2 /令牌spark.hadoop.fs.azure.account.oauth2.client。id < azure_client_id > spark.hadoop.fs.azure.account.oauth2.client。秘密{{秘密/ < azure_client_secret_secret_scope > / < azure_client_secret_secret_key >}}

在原帖子查看解決方案

6個回答6

karthik_p
尊敬的貢獻者

@Saravana KJ看起來有些步驟是失蹤的關鍵,請檢查是否所有步驟遵循從下麵文章和測試https://www.mssqltips.com/sqlservertip/6499/reading-and-writing-data-in-azure-data-lake-storage-gen-..。

alexott
價值貢獻
價值貢獻

訪問init腳本ADLS Hadoop API使用所以你需要提供正確的火花配置使用屬性由spark.hadoop前綴。例如,如果您使用服務主體,需要下列屬性(來自起程拓殖的示例:disappointed_face:

spark.hadoop.fs.azure.account.auth。OAuth spark.hadoop.fs.azure.account.oauth.provider類型。org.apache.hadoop.fs.azurebfs.oauth2類型。ClientCredsTokenProvider spark.hadoop.fs.azure.account.oauth2.client.endpointhttps://login.microsoftonline.com/ < azure_tenant_id > / oauth2 /令牌spark.hadoop.fs.azure.account.oauth2.client。id < azure_client_id > spark.hadoop.fs.azure.account.oauth2.client。秘密{{秘密/ < azure_client_secret_secret_scope > / < azure_client_secret_secret_key >}}

KJ_Saravana
新的貢獻者三世

嗨@Alex奧特

非常感謝,澄清。現在我明白,這可能是通過一個起程拓殖集群設置通過提供憑據ADLS客戶機id、租戶id和秘密。這是否意味著我們不能設置集群使用磚UI當我們需要訪問的init腳本ABFSS位置嗎?我不能硬編碼ADLS憑證在高級選項- >火花配置部分。

你可以通過設置UI或REST API——沒有問題,你隻需要提供必要的火花配置選項中列出的代碼塊

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map