終於它工作,我們所做的:
前置條件:
- 創建服務主體
- 秘密在Azure KeyVault創建
- 範圍&秘密中創建數據磚(url中添加“#秘密/ createScope”磚的頁麵,您創建的秘密)
注意:
- 隻有一個DLT管道/外部存儲位置
- 相關的鑰匙,ADLS訪問,有前綴“spark.hadoop。”
- 你不會得到家族團結目錄使用DLT時,然而,你看到DLT的血統。
DLT管道設置- JSON(例子,代替自己的參數值)
{
“集群”:(
{
“標簽”:“默認”,
"自動定量":{
“min_workers”: 1、
“max_workers”: 5
“模式”:“強化”
}
},
{
“標簽”:“維護”
}
),
“發展”:沒錯,
“連續”:假的,
“頻道”:“預覽”,
“版”:“高級”,
“光子”:假的,
“庫”:(
{
“筆記本”:{
“路徑”:“/回購/ repo_folder / delta-live-tables-notebooks / sql /零售銷售”
}
}
),
“名稱”:“零售銷售SQL外部表”,
“存儲”:“abfss: / / <容器> @ < azure-storage-account >。dfs.core.windows.net/delta_live_tables/”,
"配置":{
“spark.hadoop.fs.azure.account.auth。類型”:“OAuth”,
“spark.hadoop.fs.azure.account.oauth.provider。類型”:“org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider”,
”spark.hadoop.fs.azure.account.oauth2.client.id”:“<應用程序id >”,
“spark.hadoop.fs.azure.account.oauth2.client。秘密”:“{{秘密/ < scope-name-in-databricks > / < secret-name-in-azure-keyvault >}}”,
“spark.hadoop.fs.azure.account.oauth2.client。端點”:“https://login.microsoftonline.com/< directory-id > / oauth2 /令牌”
}
}
統一目錄——注冊一個新的外部表
如果不存在客戶創建表beplay体育app下载地址
位置的abfss: / / <容器名稱> @ < -storage-account-name >。dfs.core.windows.net/-folder/tables/beplay体育app下载地址customers/”
總結——如何讓DLT &統一目錄一起工作
這樣你可以得到δ生活表(DLT)與團結合作目錄指的是外部表。
