如何使用Azure數據湖作為一個存儲位置來存儲三角洲住表嗎?

[SM]

我在寫數據到Azure Datalake。我正在讀文件從Azure Blob存儲但是當我試著創建一個增量生活表Azure Datalake我得到錯誤如下錯誤

fs.azure.account.key shaded.databricks.azurebfs.org.apache.hadoop.fs.azurebfs.contracts.exceptions.InvalidConfigurationValueException:無效的配置值檢測

我也試圖創建Azure的DLT Blob存儲,但它似乎並不認識到集裝箱在Azure存儲賬戶

我隻是通過DLT UI指定存儲位置,不知道如果有任何額外的參數進行配置,使其工作。

[匿名]

你好,

我的名字是風笛手,我是一個主持人的磚。歡迎來到社區!謝謝你的問題。之前我們給你的同事有機會回應我們圓回來。

謝謝你的耐心!

[Kaniz]

嗨@Shikha馬修,如果你的數據存儲和格式符合標準中描述部分,您可以使用複製活動直接從Azure磚三角洲的表複製到水槽。

請通過這個鏈接循序漸進的過程。

[RThornton]

@Kaniz Fatma我認為你不太明白這個問題。我遇到同樣的問題。當創建一個三角洲湖住表管道寫Azure數據存儲(abfss: / /等)存儲位置,管道失敗與錯誤@Shikha馬修在原文中提到。

通常,當你創建一個集群處理普通的筆記本,你必須配置各種OAuth配置集群中的高級設置。我試著將這些配置添加到三角洲生活表管道,但我得到同樣的錯誤。

同時,我們不使用fs.azure.account。鍵設置ADLS因為我們使用OAuth身份驗證。

有什麼建議嗎?

[evogelpohl]

同樣的問題使用abfss / /……路徑和使用它的dlt管道存儲位置。@Robert桑頓,我安裝abfss路徑“/ mnt /數據使用相同的服務主體和秘密我時使用oauth進行配置。然後我改變了我的dlt管道和存儲位置使用/ mnt /數據/ . .路徑. .它工作。