從三角洲住表數據發布到Azure ADLS Gen2管道?

[Alex006]

我想發布的數據從三角洲住表代存儲Azure ADLS (DLT)。檢查文檔,但不能讓它工作。任何見解如何呢?

我試圖指定存儲位置”有很多的組合沛富:/ / root@storageaccountname.dfs.core.windows.net/dev/delta_live_tables/並且abfss: / / root@storageaccountname.dfs.core.windows.net/dev/delta_live_tables/沒有成功。

隻有成功寫hive_metastore dbfs迄今為止。但是我想寫一個外部位置(ADLS Gen2)引用的表可以統一目錄。

[Rishabh264]

如果您使用的是沛富協議,您需要配置一些配置文件從閱讀沛富協議,所以首先發起磚worspace位置則可以使用沛富協議我猜,

[Alex006]

我可以使用讀寫使用沛富和從ADLS Gen2 abfss協議從普通的筆記本電腦。但出於某種原因,它不是為DLT工作。

你知道如果有需要掛載ADLS Gen2與DLT具體工作嗎?

[User16752244991]

安裝一個ADLS容器不再推薦。如果你想在ADLS DLT實現你的數據,你需要做兩件事:

1. 在DLT管道設置,配置ADLS憑證使用SAS令牌或服務主體。看到在這裏為更多的細節。如果您正在使用SAS令牌,我們也recommed使用秘密存儲的關鍵。看到在這裏對於一個具體的例子。
2. 指定DLT管道ADLS位置存儲路徑。例如abfss: / / <容器名稱> @ < storage-account-name >.dfs.core.windows.net/my_folder/

[Hubert_Dudek1]

DLT的設置你需要去計算- >高級和著名的配置(當然,每個鍵需要一個值需要在你的情況中):

fs.azure.account.auth。OAuth類型

fs.azure.account.oauth.provider。類型org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider

fs.azure.account.oauth2.client。id{{秘密/範圍/ databricks-clientid}}

fs.azure.account.oauth2.client。秘密{{秘密/範圍/ databricks-secret}}

fs.azure.account.oauth2.client.endpointhttps://login.microsoftonline.com/ < YOUR_APP_ID > / oauth2 /令牌

如果你有問題你可以用spark_conf.spark.hadoop前綴的所有鍵