錯誤Azure-Databricks寫輸出blob存儲賬戶

[TheoDeSo]

你好,

實施後秘密的使用範圍在azure密鑰庫來存儲機密,我麵臨一個問題。

當寫作輸出blob我得到以下錯誤:

shaded.databricks.org.apache.hadoop.fs.azure.AzureException:無法訪問容器分析賬戶[編輯].blob.core.windows.net使用匿名的憑證,憑證中還沒有發現它們的配置。

經過調查,以下是相關配置之前設置的高級配置集群配置:

“spark.hadoop.fs.azure.account.key.y.blob.core.windows.net”、“myStorageAccountKey”

我想找到方法來設置這個檢索後的筆記本級別的秘密秘密範圍:

spark.conf.set (“spark.hadoop.fs.azure.account.key.y.blob.core.windows.net”、“myStorageAccountKey”)

很遺憾這並不工作。

下麵我寫的輸出的一個例子:

df.write.format (com.crealytics.spark.excel) \ .option (“dataAddress”、““% s”!A1“% (sheetName)) \ .option(“頭”,“真正的”)\ .option (“dateFormat”、“yy-mm-d”) \ .option (“timestampFormat”; hh: mm: ss) \ .option (“useHeader”,“真正的”)\ .mode(“追加”)\ .save (“% s / % s”% (output_blob_folder outputName))

[赫曼特]

你好@TheoDeSo,隻是重寫配置:

spark.conf.set (“fs.azure.account.key。{storage_account} .dfs.core.windows.net”、“{myStorageAccountKey}”)

使用這個uri來訪問存儲賬戶:abfss: / / {container_name} @ {storage_account}.dfs.core.windows.net/

你可以檢查使用:dbutils.fs。ls (“abfss: / / {container_name} @ {storage_account}.dfs.core.windows.net/”)

[Vidula_Khanna]

嗨@TheoDeSo

謝謝你發布你的問題在我們的社區!我們很高興幫助你。

幫助我們為您提供最準確的信息,請您花一些時間來回顧反應和選擇一個最好的回答了你的問題嗎?

這也將有助於其他社區成員可能也有類似的問題在未來。謝謝你的參與,讓我們知道如果你需要任何進一步的援助!

[TheoDeSo · Accepted solution]

你好,謝謝你的建議。

這樣做

spark.conf.set (“fs.azure.account.key。{storage_account} .dfs.core.windows.net”、“{myStorageAccountKey}”)

hadoop配置不起作用。

和建議的@Tharun-Kumar建議配置中硬編碼秘密這是一個大不。

別人提出適當的解決方案堆棧溢出的是添加在同一位置@Tharun-Kumar建議增加,但同時指向秘密範圍:

spark.hadoop.fs.azure.account.key。< account_name > .blob.core.windows.net{{秘密/ < secret-scope-name > / <秘密名字>}}