我有兩種不同的模式(金銀)在同一個統一目錄下。
我們正試圖逐步攝取數據在兩個金銀層。
銀表被創建為流媒體使用dlt.create_streaming_table DLT表(....)和apply_merge(....),這是完美的工作
我有一個DLT管道從銀流DLT表閱讀和嚐試攝取金使用相同的概念:
dlt.create_streaming_table (GOLD_TABLE)
然後
apply_merge ({UNITY_CATALOG_NAME} {SCHEMA_SILVER}。{SOURCE_SILVER_TABLE} > > > > {GOLD_TABLE}。。。)
管道是拋出這個錯誤:
未能讀數據集”{UNITY_CATALOG}, {SCHEMA_SILVER}。{TABLE_NAME}’。數據集不是在管道中定義
配置:
- 目錄是由指定一個ADL存儲。
- 模式是不指定任何存儲(因為我麵臨另一個問題與DLT管道,管道不允許執行指定的模式位置)
- 模式說明:
- 目錄類型:MANAGED_CATALOG
- 可獲得的類型:模式
- 可獲得的:SCHEMA_STANDARD
- 隻瀏覽:假
- 目錄的細節:
- 存儲根:abfss: / /{容器}@ {STORAGE_ACCOUNT}.dfs.core.windows.net/ {FOLDER_NAME}
存儲位置:abfss: / /{容器}@ {STORAGE_ACCOUNT}.dfs.core.windows.net/ {FOLDER_NAME} / __unitystorage /目錄/ be07xxxxx-xxxxxxxxxxxx
PS:同樣的工作完全在使用統一目錄,隻需使用hive_metastore。
