我單位設置,我試圖創建一個三角洲模式和表,我得到一個錯誤的模式創建,我能列表中的文件和文件夾ADLS Gen2存儲賬戶,我能寫ADLS鑲花的文件,但我不能創建一個模式,我想念某個步驟安全嗎?
”
AnalysisException: org.apache.hadoop.hive.ql.metadata。HiveException: MetaException(信息:有例外:shaded.databricks.azurebfs.org.apache.hadoop.fs.azurebfs.contracts.exceptions.KeyProviderException未能初始化配置存儲賬戶datalakeshepuc.dfs.core.windows.net:無效的配置值檢測fs.azure.account.key)”
@Shep謝潑德既然你創建一個模式與管理的位置,你應該確保一個有效的存儲憑證和外部位置是為了驗證存儲創建的帳戶。這條路必須定義在一個外部位置配置特權,您必須創建管理存儲在外部位置配置。您可以使用路徑中定義外部位置配置或子路徑
https://learn.microsoft.com/en-us/azure/databricks/data-governance/unity-catalog/create-schemas
@Shep謝潑德你能分享你集群火花的配置,配置存儲憑證和外部位置。請屏蔽敏感數據。你下麵初始化存儲使用任何火花配置、筆記本或init腳本嗎?如果是這樣,請刪除它們
spark.conf.set (“fs.azure.account.auth.type。< storage-account > .dfs.core.windows.net”、“OAuth”)
spark.conf.set (“fs.azure.account.oauth.provider.type。< storage-account > .dfs.core.windows.net”、“org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider”)
spark.conf.set (“fs.azure.account.oauth2.client.id。< storage-account > .dfs.core.windows.net”、“<應用程序id >”)
spark.conf.set (“fs.azure.account.oauth2.client.secret。< storage-account > .dfs.core.windows.net”, service_credential)
spark.conf.set (“fs.azure.account.oauth2.client.endpoint。< storage-account > .dfs.core.windows.net”、“https://login.microsoftonline.com/ < directory-id > / oauth2 /令牌”)
spark.conf.set (“fs.azure.account.auth.type。< storage-account > .dfs.core.windows.net”、“sa”)
spark.conf.set (“fs.azure.sas.token.provider.type。< storage-account > .dfs.core.windows.net”、“org.apache.hadoop.fs.azurebfs.sas.FixedSASTokenProvider”)
spark.conf.set (“fs.azure.sas.fixed.token。< storage-account > .dfs.core.windows.net”、“<標記>”)
spark.conf.set (
“fs.azure.account.key。< storage-account > .dfs.core.windows.net”,
dbutils.secrets。get(範圍= " < >範圍”,關鍵= " < storage-account-access-key > "))