將表和視圖升級到Unity Catalog

預覽

統一目錄公共預覽.要參與預覽,請與您的Databricks代表聯係。

為了利用Unity Catalog的訪問控製和審計機製,並將數據共享到多個工作區,你可以將表和視圖升級到Unity Catalog。

需求

  • 在Databricks中,您必須是帳戶管理員。

  • 您的Databricks帳戶必須在優質計劃或以上

  • 如果有必要,形成轉移瘤

  • 如果需要,創建目錄而且模式在轉移瘤中。目錄和模式將包含新的表和視圖。

升級一個表到Unity目錄

將一個表作為托管表升級到Unity Catalog:

  1. 如果有必要,製造一個轉移瘤。看到形成轉移瘤

  2. 將該metastore分配給包含該表的工作區。

  3. 通過查詢現有的表創建一個新的Unity Catalog表。替換占位符值:

    • <目錄>:新表的Unity Catalog目錄。

    • < new_schema >:新表的Unity Catalog模式。

    • < new_table >: Unity Catalog表的名稱。

    • < old_schema >:舊表的模式,例如默認的

    • < old_table >:舊表的名稱。

    創建表格<目錄><new_schema><new_table>作為選擇hive_metastore<old_schema><old_table>
    df火花表格“hive_metastore。< old_schema >。< old_table >”dfsaveAsTable的名字“<目錄>。< new_schema >。< new_table >”
    r圖書館SparkRdftableToDF“hive_metastore。< old_schema >。< old_table >”saveAsTabledfdf,的表“<目錄>。< new_schema >。< new_table >”
    瓦爾df火花表格“hive_metastore。< old_schema >。< old_table >”dfsaveAsTable的表“<目錄>。< new_schema >。< new_table >”

    如果您隻想遷移一些列或行,請修改選擇聲明。

    請注意

    此命令創建一個管理表其中,數據被複製到在建立轉移庫時指定的存儲位置。創建一個外部表在這裏,一個表在Unity Catalog中注冊,而不移動雲存儲中的數據,參見將一個外部表升級到Unity Catalog

  4. 授予帳戶級用戶或組對新表的訪問權限。看到管理對數據的訪問

  5. 遷移表之後,用戶應該更新他們現有的查詢和工作負載以使用新表。

  6. 在刪除舊表之前,通過取消對它的訪問並重新運行相關查詢和工作負載來測試依賴關係。

將一個外部表升級到Unity Catalog

你可以將一個外部表從默認的Hive metastore複製到Unity Catalog metastore數據瀏覽

需求

在你開始之前,你必須:

  • 一個存儲憑證使用IAM角色授權Unity Catalog訪問表的位置路徑。

  • 一個外部位置它引用您剛剛創建的存儲憑據和雲租戶上的數據路徑。

  • 創建表格對要升級表的外部位置的權限。

升級過程

升級外部表。

  1. 如果您還沒有使用Databricks SQL,請使用側邊欄中的角色切換器選擇SQL

  2. 點擊數據圖標數據在側邊欄中打開數據瀏覽

  3. 選擇要升級的數據庫,然後選擇表。

  4. 點擊升級操作在表詳細信息視圖的右上角。

  5. 在Unity catalog中選擇您的目標目錄和數據庫,然後單擊升級

  6. 表元數據已經被複製到Unity Catalog中,並創建了一個新的表。控件中定義細粒度訪問控製權限選項卡。

  7. 修改工作負載以使用新表。

    請注意

    如果你不再需要舊的桌子,你可以把它從蜂巢亞Metastore中刪除。刪除外部表不會修改雲租戶上的數據文件。

將視圖升級到Unity Catalog

當你將所有視圖的引用表升級到同一個Unity Catalog metastore後,你就可以了創建一個新視圖它引用新表。

請注意

如果您的視圖還引用其他視圖,請先升級那些視圖。

升級視圖後,授予帳戶級用戶和組對它的訪問權

在刪除舊視圖之前,通過撤銷對它的訪問並重新運行相關的查詢和工作負載來測試依賴性。

將一個模式或多個表升級到Unity Catalog

你可以複製完整的模式(數據庫)和多個表從默認的Hive轉移到Unity Catalog轉移使用數據瀏覽升級向導。

需求

在你開始之前,你必須:

  • 一個存儲憑證使用IAM角色授權Unity Catalog訪問表的位置路徑。

  • 一個外部位置它引用您剛剛創建的存儲憑據和雲租戶上的數據路徑。

  • 創建表格要升級的表的外部位置的權限。

升級過程

  1. 如果您還沒有使用Databricks SQL,請使用側邊欄中的角色切換器選擇SQL

  2. 點擊數據圖標數據在側邊欄中打開數據瀏覽

  3. 選擇hive_metastore作為目錄,並選擇要升級的模式(數據庫)。

    選擇數據庫
  4. 點擊升級在模式詳細信息視圖的右上角。

  5. 選擇要升級的所有表並單擊下一個

    隻有外部表Unity Catalog支持的格式可以使用升級向導進行升級。

  6. 為每個表設置目標目錄和模式。

    您將能夠在它的上下文中訪問新創建的表目錄和模式.可以為每個表單獨或批量設置目標目錄和模式。要批量設置它們,首先選擇一些或所有表,然後設置目標目錄和模式。

  7. 檢查表配置。要修改它們,請單擊以前的按鈕。

  8. 點擊創建升級查詢

    將出現一個查詢編輯器,其中包含生成的SQL語句。

  9. 運行查詢。

    當查詢完成時,每個表的元數據已經從Hive metastore複製到Unity Catalog。這些表在升級向導中被標記為已升級。

  10. 方法定義細粒度訪問控製權限每個新表的TAB。

  11. 修改工作負載以使用新表。

請注意

如果你不再需要舊的桌子,你可以把他們從蜂巢亞Metastore。刪除外部表不會修改雲租戶上的數據文件。