開始使用統一目錄

本文提供了分步指導,建立統一的目錄為您的組織。它描述了如何使你的磚賬戶使用統一編目和如何創建您的第一個表中統一目錄。

統一目錄設置的概述

本節提供了一個高層次的概述如何設置你的磚賬戶使用統一目錄和創建您的第一個表。詳細的一步一步的指示,請參閱下麵的部分。

設置數據磚占統一目錄

讓你的磚賬戶使用統一目錄,您執行以下操作:

  1. 創建一個統一的GCS桶目錄可以用來存儲管理表數據雲在你的穀歌賬戶。

  2. 為每個區域創建一個metastore組織運作。這metastore函數作為頂層容器中所有數據統一目錄。

  3. 給統一目錄訪問GCS桶。

    作為metastore創建過程的一部分,磚生成一個穀歌雲服務帳戶,你使用的授權訪問。

  4. 分配metastore工作區。每個工作空間都有相同的數據視圖,你在統一目錄管理。

  5. 添加用戶、組和磚帳戶服務主體。

    對於現有的磚賬戶,這些身份已經存在。

  6. (可選)您轉metastore admin角色。

設置為用戶的數據訪問

設置為你的用戶數據訪問,您執行以下操作:

  1. 在一個工作區,創建至少一個計算資源:一個集群或SQL倉庫。

    您將使用運行時計算資源查詢和命令,包括grant語句數據對象中獲得統一目錄。

  2. 至少創建一個目錄。

    目錄的模式(數據庫),反過來用戶使用的表。

  3. 至少創建一個模式。

  4. 創建表。

每個級別的數據層次結構(目錄、模式、表),您授予特權用戶,組,或服務主體。您還可以使用行或列級特權授予動態視圖。

需求

  • 你必須是一個磚賬戶管理。

  • 必須在你的磚賬戶保費計劃。

  • 在穀歌的雲,你必須有能力創建GCS桶和分配權限,您創建的GCS桶。

  • 您必須至少有一個工作區,您想要使用統一的目錄。看到創建一個工作區使用帳戶控製台。

配置一個穀歌雲存儲桶

在這個步驟中,您創建所需的GCS桶統一目錄來存儲和訪問表數據雲在你的穀歌賬戶管理。

  1. 登錄你的穀歌雲控製台和創建一個新的GCS桶在同一地區與工作區中您想要使用統一的目錄。

    不允許直接用戶訪問這個桶。

  2. 記下桶路徑(g: / /道路/ / bucket名)。

創建您的第一個metastore

創建一個metastore:

  1. 登錄到磚賬戶控製台。

  2. 點擊數據圖標數據。

  3. 點擊創建Metastore。

  4. 輸入以下:

    • metastore的名稱。

    • 你想要部署metastore的地區。

      這一定是在同一地區工作區你想用它來訪問數據。確保這個匹配前麵創建的GCS桶的地區。

    • GCS桶的路徑,您在前麵創建的任務。

  5. 點擊創建。

    的提供存儲訪問對話框出現了。它顯示了係統生成的服務帳戶名稱並要求你給予服務帳戶GCS桶兩個我的角色。保持這個對話框打開當你繼續下一個任務。

給你服務帳戶訪問GCS桶,並分配工作空間

  1. 在另一個瀏覽器選項卡或窗口,去穀歌雲控製台和打開你的GCS桶前一步中提供。

  2. 在許可選項卡上,單擊+授權訪問和分配服務帳戶以下角色:

    • 存儲遺留桶讀者

    • 存儲對象管理

    使用服務帳戶的電子郵件地址作為主要的標識符。

  3. 返回到提供存儲訪問磚賬戶控製台並單擊對話框權限授予。

    磚確認服務帳戶有正確的訪問桶。

  4. 在驗證成功,您可以選擇工作區metastore分配。

    學習如何分配metastores工作區,明白了為統一啟用一個工作區目錄。

  5. (推薦)metastore admin角色轉移到一個組。

    的用戶創建一個metastore是它的主人,也叫metastore管理。metastore管理員可以創建頂級metastore中的對象,如目錄和可以訪問表和其他對象。磚建議你重新分配metastore admin角色。看到(推薦)所有權轉移的metastore一組。

添加用戶和組

提示

實現一個一致的視圖的用戶和能夠在工作區管理數據訪問,統一編目引入了一個集中管理的身份係統,也被稱為聯合身份驗證。這使管理員能夠控製用戶訪問工作區從賬戶控製台和其他帳戶級別接口。

統一目錄metastore可以跨多個數據磚共享工作區。統一目錄利用磚戶頭級別身份管理提供一個一致的視圖的用戶,服務主體,在所有工作區和組。在這個步驟中,您創建的用戶和組帳戶控製台,然後選擇工作區可以訪問這些身份。

請注意

  • 如果你有一個現有的帳戶和工作區,你可能已經存在的用戶和組帳戶,所以你可以跳過用戶和組的創建步驟。

  • 如果你有大量的用戶或組在您的帳戶,或者如果你喜歡管理身份之外的磚,你可以同步用戶和組的身份提供商(IdP)。

添加一個用戶和組使用帳戶控製台:

  1. 登錄到賬戶控製台(需要一個用戶帳戶管理)。

  2. 點擊控製台用戶管理圖標用戶管理。

  3. 添加一個用戶:

    1. 點擊用戶。

    2. 點擊添加用戶。

    3. 為用戶輸入一個名稱和電子郵件地址。

    4. 點擊發送邀請。

  4. 添加一個組:

    1. 點擊組。

    2. 點擊添加組。

    3. 輸入一個名稱的組。

    4. 點擊確認。

    5. 當出現提示時,將用戶添加到組。

  5. 用戶或組添加到工作區,在那裏他們可以執行數據科學、工程數據,使用數據管理和數據分析任務統一目錄:

    1. 在側邊欄中,單擊工作空間的圖標工作區選擇一個工作區。

    2. 在權限選項卡上,單擊添加權限。

    3. 搜索和選擇的用戶或組,分配權限級別(工作區用戶或管理),然後點擊保存。

首先,創建一個名為數據使用者。在本文的稍後部分中,使用。

創建一個集群或SQL倉庫

開始創建表和分配權限之前,您需要創建一個計算資源來運行你的表和permission-assignment工作負載。

表中定義的統一目錄由細粒度訪問控製保護。確保訪問控製執行,統一編目需要計算資源符合安全配置。非相容的計算資源不能訪問表中統一目錄。

磚提供了兩種計算資源:

  • 集群,用於工作負載數據科學與工程和磚機器學習persona-based環境,例如,執行SQL命令在一個磚筆記本。

  • SQL倉庫在磚用於執行查詢的SQL。

您可以使用這些計算資源使用統一目錄,這取決於您所使用的環境:SQL倉庫磚SQL或集群的數據科學與工程和磚機的學習環境。

創建一個集群

創建一個集群,可以訪問統一目錄:

  1. 登錄到您的工作區作為工作區管理員或用戶允許創建集群。

  2. 點擊計算圖標計算。

  3. 點擊創建計算。

    1. 輸入一個名稱為集群。

    2. 設置訪問模式來共享。

      隻有單用戶和共享統一目錄訪問模式支持。看到集群訪問模式是什麼?。

    3. 集磚的運行時版本的來運行時:11.3 LTS (Scala 2.12,火花3.3.0)或更高版本。

  4. 點擊創建集群。

具體的配置選項,請參閱創建一個集群。

創建一個SQL倉庫

SQL倉庫支持統一目錄默認情況下,沒有特殊配置要求。

創建一個SQL倉庫:

  1. 登錄到您的工作區作為工作區管理員或用戶允許創建集群。

  2. 從角色切換,選擇SQL。

  3. 點擊創建並選擇SQL倉庫。

具體的配置選項,請參閱配置SQL倉庫。

創建您的第一個表和管理權限

統一目錄允許您定義訪問表聲明使用SQL或磚瀏覽器UI。設計遵循“定義一次,安全無處不在”的方法,這意味著訪問規則將從所有磚工作區,尊敬的集群,在您的帳戶和SQL的倉庫,隻要工作區共享相同的metastore。

在本例中,您將運行一個筆記本,創建一個表命名部門在主要目錄和默認的模式(數據庫)。此目錄和模式對所有metastores自動創建。

權限要求使用目錄許可。所有用戶的使用目錄許可的主要默認目錄。沒有其他的權限都必須完成這個例子除了那些你給予運行它。

  1. 創建一個筆記本並將它附加到集群中創建創建一個集群或SQL倉庫。

    選擇SQL作為你的筆記本語言。

  2. 下麵的命令添加到筆記本和運行它們:

    格蘭特使用模式,創建表在模式主要。默認的來' <用戶> @ <域>。com”;

    取代<用戶> @ <域>。com你的磚的用戶名。你們必須用引號(附上用戶名””)。

    創建表如果不存在主要。默認的。部門(deptcodeINT,deptname字符串,位置字符串);
    插入成主要。默認的。部門值(10,“金融”,“愛丁堡”),(20.,“軟件”,帕丁頓的);

    你現在有一個表在統一目錄。

  3. 在數據瀏覽器找到新表。

    在側邊欄中,單擊數據圖標數據,然後使用模式瀏覽器(或搜索)找到主要目錄和默認的目錄,你會發現的部門表。

    使用數據資源管理器找到一個表

    請注意,您不需要運行的集群或SQL倉庫數據瀏覽器中瀏覽數據。

  4. 授予的權限表。

    作為原始表的創造者,你桌子上老板,你可以授予其他用戶權限讀或寫。你甚至可以過戶,但我們不會那樣做。

    在桌子上在數據瀏覽器頁麵,去權限選項卡並單擊格蘭特。

    在格蘭特在對話框:

    1. 選擇您想給權限的用戶和組。在這個例子中,我們使用一個叫做數據使用者。

    2. 選擇你想要的權限授予。對於這個示例,分配選擇特權和點擊格蘭特。

    關於統一目錄權限的更多信息和權限模型,明白了統一目錄管理權限。

    您還可以使用以下SQL語句授予這些權限在磚筆記本或磚的SQL查詢編輯器:

    格蘭特選擇在主要。默認的。部門來”數據- - - - - -消費者”;

  5. 運行一個示例的筆記本,遵循一個更詳細的介紹,包括目錄和創造模式,總結可用的特權,一個示例查詢,等等。

捷徑:使用筆記本一個示例創建一個目錄,模式和表

您可以使用下麵的示例筆記本創建一個目錄,模式和表,以及管理權限。

創建和管理一個聯合目錄表使用SQL

在新標簽頁打開筆記本

創建和管理一個聯合目錄表使用Python

在新標簽頁打開筆記本

(可選)安裝統一目錄CLI

統一目錄CLI是實驗性的,但它可以是一個方便的方式來管理統一目錄從命令行。它的一部分磚CLI。使用統一的CLI目錄,請執行以下操作:

  1. 設置CLI。

  2. 設置身份驗證。

  3. 可選地,創建一個或多個連接配置文件使用CLI。

  4. 學習如何使用磚CLI一般來說。

  5. 開始使用的統一目錄CLI(遺留)。

下一個步驟