取消
顯示的結果
而不是尋找
你的意思是:

創建啟用了統一的模式

sqlshep”id=
新的貢獻者三世

我單位設置,我試圖創建一個三角洲模式和表,我得到一個錯誤的模式創建,我能列表中的文件和文件夾ADLS Gen2存儲賬戶,我能寫ADLS鑲花的文件,但我不能創建一個模式,我想念某個步驟安全嗎?

AnalysisException: org.apache.hadoop.hive.ql.metadata。HiveException: MetaException(信息:有例外:shaded.databricks.azurebfs.org.apache.hadoop.fs.azurebfs.contracts.exceptions.KeyProviderException未能初始化配置存儲賬戶datalakeshepuc.dfs.core.windows.net:無效的配置值檢測fs.azure.account.key)”

截圖2023-03-11 12.11.33點”li-image-url=

12個回複12

Vidula_Khanna”id=
主持人”id=
主持人

嗨@Shep謝潑德

謝謝你的問題!幫助你更好的,請花一些時間來檢查答案,讓我知道它是否最適合您的需要。

請幫助我們選擇最好的解決方案通過點擊“選擇最佳”如果它。

您的反饋將幫助我們確保我們提供最好的服務給你。

謝謝你!

sqlshep”id=
新的貢獻者三世

仍然沒有解決我無法直接寫入ADLS Gen 2。

匿名
不適用

@Shep謝潑德既然你創建一個模式與管理的位置,你應該確保一個有效的存儲憑證和外部位置是為了驗證存儲創建的帳戶。這條路必須定義在一個外部位置配置特權,您必須創建管理存儲在外部位置配置。您可以使用路徑中定義外部位置配置或子路徑

https://learn.microsoft.com/en-us/azure/databricks/data-governance/unity-catalog/create-schemas

https://learn.microsoft.com/en-us/azure/databricks/data-governance/unity-catalog/manage-external-loc..。

sqlshep”id=
新的貢獻者三世

我經曆了所有這些設置加州大學,和加州大學工作,但仍無法寫入ADLS創2。我要評論的鏈接,但所有的設置。

匿名
不適用

@Shep謝潑德你能分享你集群火花的配置,配置存儲憑證和外部位置。請屏蔽敏感數據。你下麵初始化存儲使用任何火花配置、筆記本或init腳本嗎?如果是這樣,請刪除它們

spark.conf.set (“fs.azure.account.auth.type。< storage-account > .dfs.core.windows.net”、“OAuth”)

spark.conf.set (“fs.azure.account.oauth.provider.type。< storage-account > .dfs.core.windows.net”、“org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider”)

spark.conf.set (“fs.azure.account.oauth2.client.id。< storage-account > .dfs.core.windows.net”、“<應用程序id >”)

spark.conf.set (“fs.azure.account.oauth2.client.secret。< storage-account > .dfs.core.windows.net”, service_credential)

spark.conf.set (“fs.azure.account.oauth2.client.endpoint。< storage-account > .dfs.core.windows.net”、“https://login.microsoftonline.com/ < directory-id > / oauth2 /令牌”)

spark.conf.set (“fs.azure.account.auth.type。< storage-account > .dfs.core.windows.net”、“sa”)

spark.conf.set (“fs.azure.sas.token.provider.type。< storage-account > .dfs.core.windows.net”、“org.apache.hadoop.fs.azurebfs.sas.FixedSASTokenProvider”)

spark.conf.set (“fs.azure.sas.fixed.token。< storage-account > .dfs.core.windows.net”、“<標記>”)

spark.conf.set (

“fs.azure.account.key。< storage-account > .dfs.core.windows.net”,

dbutils.secrets。get(範圍= " < >範圍”,關鍵= " < storage-account-access-key > "))

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map