創建啟用了統一的模式

[sqlshep]

我單位設置,我試圖創建一個三角洲模式和表,我得到一個錯誤的模式創建,我能列表中的文件和文件夾ADLS Gen2存儲賬戶,我能寫ADLS鑲花的文件,但我不能創建一個模式,我想念某個步驟安全嗎?

”

AnalysisException: org.apache.hadoop.hive.ql.metadata。HiveException: MetaException(信息:有例外:shaded.databricks.azurebfs.org.apache.hadoop.fs.azurebfs.contracts.exceptions.KeyProviderException未能初始化配置存儲賬戶datalakeshepuc.dfs.core.windows.net:無效的配置值檢測fs.azure.account.key)”

[Vidula_Khanna]

嗨@Shep謝潑德

謝謝你的問題!幫助你更好的,請花一些時間來檢查答案,讓我知道它是否最適合您的需要。

請幫助我們選擇最好的解決方案通過點擊“選擇最佳”如果它。

您的反饋將幫助我們確保我們提供最好的服務給你。

謝謝你！

[sqlshep]

仍然沒有解決我無法直接寫入ADLS Gen 2。

[匿名]

@Shep謝潑德既然你創建一個模式與管理的位置,你應該確保一個有效的存儲憑證和外部位置是為了驗證存儲創建的帳戶。這條路必須定義在一個外部位置配置特權,您必須創建管理存儲在外部位置配置。您可以使用路徑中定義外部位置配置或子路徑

https://learn.microsoft.com/en-us/azure/databricks/data-governance/unity-catalog/create-schemas

https://learn.microsoft.com/en-us/azure/databricks/data-governance/unity-catalog/manage-external-loc..。

[sqlshep]

我經曆了所有這些設置加州大學,和加州大學工作,但仍無法寫入ADLS創2。我要評論的鏈接,但所有的設置。

[匿名]

@Shep謝潑德你能分享你集群火花的配置,配置存儲憑證和外部位置。請屏蔽敏感數據。你下麵初始化存儲使用任何火花配置、筆記本或init腳本嗎?如果是這樣,請刪除它們

spark.conf.set (“fs.azure.account.auth.type。< storage-account > .dfs.core.windows.net”、“OAuth”)

spark.conf.set (“fs.azure.account.oauth.provider.type。< storage-account > .dfs.core.windows.net”、“org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider”)

spark.conf.set (“fs.azure.account.oauth2.client.id。< storage-account > .dfs.core.windows.net”、“<應用程序id >”)

spark.conf.set (“fs.azure.account.oauth2.client.secret。< storage-account > .dfs.core.windows.net”, service_credential)

spark.conf.set (“fs.azure.account.oauth2.client.endpoint。< storage-account > .dfs.core.windows.net”、“https://login.microsoftonline.com/ < directory-id > / oauth2 /令牌”)

spark.conf.set (“fs.azure.account.auth.type。< storage-account > .dfs.core.windows.net”、“sa”)

spark.conf.set (“fs.azure.sas.token.provider.type。< storage-account > .dfs.core.windows.net”、“org.apache.hadoop.fs.azurebfs.sas.FixedSASTokenProvider”)

spark.conf.set (“fs.azure.sas.fixed.token。< storage-account > .dfs.core.windows.net”、“<標記>”)

spark.conf.set (

“fs.azure.account.key。< storage-account > .dfs.core.windows.net”,

dbutils.secrets。get(範圍= " < >範圍”,關鍵= " < storage-account-access-key > "))