使用統一的目錄與三角洲住表管道

需求

以下是需要創建表統一目錄從三角洲地區生活表管道:

• 你的管道必須配置為使用預覽通道。

• 你必須有使用目錄目標目錄上的特權。

• 你必須有創建物化視圖和使用模式如果你的管道產生特權在目標模式生活表。

• 你必須有創建表和使用模式如果你的管道產生特權在目標模式流媒體直播表。

• 如果沒有指定一個目標模式的管道設置,您必須創建物化視圖或創建表至少一個模式在目標目錄上的特權。

限製

以下是限製在使用統一目錄與達美住表:

• 現有管道使用蜂巢metastore不能升級到使用統一目錄。遷移現有管道蜂巢metastore寫道,您必須創建一個新的管道和攝取數據從數據源(年代)。

• Init腳本,不支持第三方庫和罐子。

• 運行以下數據操作語言(DML)從外部客戶查詢,例如,磚SQL,修改流表寫的管道不支持:

  • 任何DML查詢應用變化流表。

  • 任何DML查詢,修改一個流表的模式。

  • 插入覆蓋和合並。

  • 任何提交的DML查詢用戶並不擁有流表。

• 物化視圖中創建一個增量表管道不能用作直播源以外的管道,例如,在另一個管道或下遊的筆記本。

• 你不能改變管道使用統一目錄的所有者。

• 出版目錄或者模式不支持指定一個存儲位置管理。所有表存儲在metastore根存儲位置。

• 的曆史標簽數據瀏覽器不會顯示曆史上為流表和物化視圖。

• 的位置屬性不支持在定義一個表。

• 統一目錄啟用管道不能發布蜂巢metastore。

• Python UDF私下支持預覽。啟用此功能,請聯係您的磚領域工程的代表。當UDF支持啟用時,使用Python UDF管道必須添加“PythonUDF.enabled”:“真正的”自定義集群標簽的默認和維護集群管道。

改變現有的功能

當DLT配置為統一目錄,保存數據表的生命周期由三角洲住表管道。因為管道管理表的生命周期:

• 當一個表被刪除從三角洲住表管道定義,對應的物化視圖或流表條目被刪除從統一目錄下管道更新。實際的數據保留一段時間,這樣就可以恢複,如果誤刪除。可以恢複數據通過添加物化視圖或表回管道流的定義。

• 刪除三角洲生活表管道導致刪除所有表中定義的管道。由於這一變化,三角洲生活表更新UI提示您確認刪除一條管道。

寫表從三角洲生活統一編目表管道

寫你的表統一目錄,當你創建一個管道中,選擇統一目錄下存儲選項,選擇一個目錄中目錄下拉菜單,並提供一個數據庫名稱目標模式字段。

數據攝取到統一目錄管道

你的管道配置為使用統一目錄可以讀取數據:

• 統一目錄管理和外部表、視圖物化視圖和流表。

• 蜂巢metastore表和視圖。

• 自動加載器使用cloud_files ()從統一目錄讀取外部函數的位置。

• Apache卡夫卡和亞馬遜運動。

下麵是閱讀的例子從統一目錄和蜂巢metastore表。

創建或刷新生活表table_name作為選擇*從my_catalog。my_schema。表1;

@dlt。表deftable_name():返回火花。表(“my_catalog.my_schema.table”)

創建或刷新流媒體表table_name作為選擇*從流(my_catalog。my_schema。表1);

@dlt。表deftable_name():返回火花。readStream。表(“my_catalog.my_schema.table”)

創建或刷新生活表table_name作為選擇*從hive_metastore。some_schema。表;

@dlt。表deftable3():返回火花。表(“hive_metastore.some_schema.table”)

創建或刷新流媒體生活表table_name作為選擇*從cloud_files(<path_to_uc_external_location>,“json”)

@dlt。表(table_properties={“質量”:“青銅”})deftable_name():返回(火花。readStream。格式(“cloudFiles”)。選項(“cloudFiles.format”,“json”)。負載(f”{path_to_uc_external_location}”))

分享生活表

默認情況下,創建的表管道隻有管道所有者可以查詢。你可以給其他用戶查詢一個表使用的能力格蘭特查詢語句,你可以撤銷訪問使用撤銷語句。在統一目錄權限的更多信息,請參閱統一目錄管理權限。

格蘭特選擇在表my_catalog。my_schema。live_table來”用戶@磚。com”

撤銷選擇在表my_catalog。my_schema。live_table從”用戶@磚。com”

管道視圖血統

血統表δ生活表中管道在數據瀏覽器是可見的。物化視圖或統一目錄啟用管道流表,數據瀏覽血統UI顯示了上遊和下遊表。血統是隻顯示中定義表之間的管道;表定義外的管道和管道中讀數據中沒有顯示瀏覽器UI血統。了解更多關於統一目錄血統,明白了_。

物化視圖或流表統一目錄啟用三角洲住表管道,數據瀏覽血統UI也會鏈接到管道產生物化視圖或流表如果管道從當前工作區中訪問。