你好,
實施後秘密的使用範圍在azure密鑰庫來存儲機密,我麵臨一個問題。
當寫作輸出blob我得到以下錯誤:
shaded.databricks.org.apache.hadoop.fs.azure.AzureException:無法訪問容器分析賬戶[編輯].blob.core.windows.net使用匿名的憑證,憑證中還沒有發現它們的配置。
經過調查,以下是相關配置之前設置的高級配置集群配置:
“spark.hadoop.fs.azure.account.key.y.blob.core.windows.net”、“myStorageAccountKey”
我想找到方法來設置這個檢索後的筆記本級別的秘密秘密範圍:
spark.conf.set (“spark.hadoop.fs.azure.account.key.y.blob.core.windows.net”、“myStorageAccountKey”)
很遺憾這並不工作。
下麵我寫的輸出的一個例子:
df.write.format (com.crealytics.spark.excel) \ .option (“dataAddress”、““% s”!A1“% (sheetName)) \ .option(“頭”,“真正的”)\ .option (“dateFormat”、“yy-mm-d”) \ .option (“timestampFormat”; hh: mm: ss) \ .option (“useHeader”,“真正的”)\ .mode(“追加”)\ .save (“% s / % s”% (output_blob_folder outputName))
你好@TheoDeSo,隻是重寫配置:
spark.conf.set (“fs.azure.account.key。{storage_account} .dfs.core.windows.net”、“{myStorageAccountKey}”)
使用這個uri來訪問存儲賬戶:abfss: / / {container_name} @ {storage_account}.dfs.core.windows.net/
你可以檢查使用:dbutils.fs。ls (“abfss: / / {container_name} @ {storage_account}.dfs.core.windows.net/”)
你好,謝謝你的建議。
這樣做
spark.conf.set (“fs.azure.account.key。{storage_account} .dfs.core.windows.net”、“{myStorageAccountKey}”)
hadoop配置不起作用。
和建議的@Tharun-Kumar建議配置中硬編碼秘密這是一個大不。
別人提出適當的解決方案堆棧溢出的是添加在同一位置@Tharun-Kumar建議增加,但同時指向秘密範圍:
spark.hadoop.fs.azure.account.key。< account_name > .blob.core.windows.net{{秘密/ < secret-scope-name > / <秘密名字>}}