取消
顯示的結果
而不是尋找
你的意思是:

錯誤Azure-Databricks寫隨機數字撥號改為存儲賬戶,wsabs: / /

Vadim1
新的貢獻者三世

你好,我是試圖從隨機數字撥號改為寫入數據存儲帳戶:

添加存儲賬戶關鍵:

spark.conf.set (“fs.azure.account.key.y.blob.core.windows.net”、“myStorageAccountKey”)

讀和寫相同的存儲:

val路徑= " wasbs: / /(電子郵件保護)/數據/ x。csv”val df = spark.read.format (csv) .load(路徑)df.rdd.saveAsObjectFile (“wasbs: / /(電子郵件保護)/ / out.csv”)

錯誤:

shaded.databricks.org.apache.hadoop.fs.azure.AzureException: shaded.databricks.org.apache.hadoop.fs.azure.AzureException:容器x賬戶y.blob.core.windows.net未找到,我們不能創建它使用anoynomous憑證,憑證中還沒有發現它們的配置。在shaded.databricks.org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.initialize shaded.databricks.org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.createAzureStorageSession (AzureNativeFileSystemStore.java: 1037) (AzureNativeFileSystemStore.java: 488) shaded.databricks.org.apache.hadoop.fs.azure.NativeAzureFileSystem.initialize (NativeAzureFileSystem.java: 1325) org.apache.hadoop.fs.FileSystem.createFileSystem (FileSystem.java: 2669) org.apache.hadoop.fs.FileSystem.get (FileSystem.java: 370) org.apache.hadoop.fs.Path.getFileSystem (Path.java: 295) org.apache.spark.sql.execution.datasources.DataSource anonfun org apache引發美元美元美元sql執行數據源美元數據源checkAndGlobPathIfNecessary 1.美元美元應用(DataSource.scala: 603)

相同的代碼工作當我保存dataframe(不是抽樣:

df.write.csv (“wasbs: / /(電子郵件保護)/ / obj.csv”)

看起來像抽樣不知道如何連接到存儲賬戶wasbs: / /。

任何想法如何解決這個沒有山(dbutils.fs.mount) ?

謝謝!

1接受解決方案

接受的解決方案

User16764241763
尊敬的貢獻者

你好,

你可能需要配置以下抽樣api

  1. spark.conf.set (“spark.hadoop.fs.azure.account.key.y.blob.core.windows.net”、“myStorageAccountKey”)

在原帖子查看解決方案

4回複4

User16764241763
尊敬的貢獻者

你好,

你可能需要配置以下抽樣api

  1. spark.conf.set (“spark.hadoop.fs.azure.account.key.y.blob.core.windows.net”、“myStorageAccountKey”)

Vadim1
新的貢獻者三世

嗨,非常感謝aravish !從筆記本但這不起作用工作當我在高級選項添加到火花集群的配置:

spark.hadoop.fs.azure.account.key.y.blob.core.windows.net的關鍵

Kaniz
社區經理
社區經理

嗨@Vadim Z,這工作我很高興。你願意你的答案標記為最好的?

TheoDeSo
新的貢獻者三世

你好@Vadim1@User16764241763。我想知道如果你找到一個方法來避免在高級選項中添加硬編碼鍵火花在集群配置中配置部分。

有類似的命令spark.conf.set (“spark.hadoop.fs.azure.account.key.y.blob.core.windows.net”、“myStorageAccountKey”),後在筆記本層麵的關鍵秘密範圍?

親切的問候

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map