數據幀寫入Azure存儲數據湖

[juan_perez]

碰巧我操縱一些數據使用Azure磚。這些數據是在Azure數據存儲Gen1湖。我安裝的數據到DBFS,但是現在,改造後的數據我想寫回數據。

掛載我使用以下數據:

款= {" dfs.adls.oauth2.access.token.provider。類型”:“ClientCredential”、“dfs.adls.oauth2.client。id”:“< your-service-client-id >”、“dfs.adls.oauth2。證書”:“< your-service-credentials >”、“dfs.adls.oauth2.refresh。url”:“https://login.microsoftonline.com/ < your-directory-id > / oauth2 /令牌”}

dbutils.fs。山(源= "誹謗聯盟:/ / < your-data-lake-store-account-name >.azuredatalakestore.net/ < your-directory-name >”, mount_point = " / mnt / < mount-name >”, extra_configs =配置)

我想寫. csv文件。這個任務我使用下麵的線

dfGPS.write.mode .format(“覆蓋”)(“com.databricks.spark.csv”)。選項(“頭”,“真正的”). csv(“誹謗聯盟:/ / < your-data-lake-store-account-name >.azuredatalakestore.net/ < your-directory-name >”)

然而,我得到以下錯誤:

dfs.adls.oauth2.access.token IllegalArgumentException:你‘不值。供應商在配置文件中找到。”

任何的代碼,建議可以幫助我嗎?或者鏈接,我通過。

謝謝。

[AndrewSears]

你好,

你試著寫信給你掛載點的位置嗎?

1. dfGPS.write.mode(“覆蓋”).format (com.databricks.spark.csv) .option(“標題”、“true”) . csv (“/ mnt / < mount-name >”)

這裏有一個相關的帖子,配置適當的Hadoop屬性如果你想用ADL語法。

https://forums.www.eheci.com/questions/13205/azure-data-lake-config-issue-no-value-for-dfsadlso.htm..。

歡呼,

安德魯

[PawanShukla]

我是新在Azure數據磚. .我試圖寫安裝ADLS文件中的數據幀。但在以下命令

dfGPS.write.mode(“覆蓋”).format (com.databricks.spark.csv) .option(“標題”、“true”) . csv (“/ mnt / < mount-name >”)