統一目錄:創建第一個metastore
統一目錄的好處是,數據是我們的,在一個開放的格式存儲在雲存儲在我們的容器。安裝統一目錄,我們需要創建存儲,讓磚訪問存儲所以metastore可以通過管理控製台。
我們將使用Azure雲湖和Azure數據存儲在這個手冊。
存儲賬戶
我們需要尋找在Azure門戶“存儲帳戶”。
在存儲賬戶,我們點擊創建按鈕。
在下一個頁麵上,最重要的是將該地區作為我們的磚地區,先進的頁麵,請選擇它作為數據存儲Gen2湖。
我們需要去創建一個存儲帳戶,我們需要創建一個容器,我們將存儲metastore。
我們需要記住存儲賬戶和容器名稱一樣我們將稍後使用它在metastore設置<storage_account_name > @ < container_name >。dfs.core.windows.net/複製和保存我們將稍後使用它。
訪問連接器Azure磚
現在我們需要給磚訪問的存儲。所以我們需要搜索“訪問連接器Azure磚"來實現。
點擊創建和記得再次使用相同的地區。
創建完成後,我們必須去新創建的資源。從那裏,我們需要複製的ID訪問連接器。很長時間的格式/訂閱/ < YOUR_SUBSCRIPTION_ID > / resourceGroups / < YOUR_RESOURCE_GROUP > /供應商/ Microsoft.Databricks / accessConnectors / < ACCESS_CONNECTOR_NAME >。複製和保存它我們將稍後使用它。
授權訪問存儲賬戶。
好了,現在我們需要回到我們的存儲賬戶統一目錄。內部存儲賬戶左邊菜單,請點擊“訪問控製(IAM)”,然後“+加。”
我們需要選擇“存儲Blob數據貢獻者”的角色。
我們需要選擇之前創建的訪問連接器。這是注冊為身份管理。我們必須選擇它,點擊“選擇”和“複習+分配”。
創建metastore
現在我們可以回到磚。請在右上角菜單上選擇“管理賬戶”。
在左邊的菜單中,我們需要選擇“數據”,選擇“創建metastore”。
接下來,我們必須指定的名稱和該地區我們使用。ADLS Gen 2路,我們需要輸入<storage_account_name > @ < container_name >。dfs.core.windows.net/,我們之前創建。斜杠是至關重要的,是在容器中定義根目錄。
訪問連接器id是早些時候,我們複製格式的值/訂閱/ < YOUR_SUBSCRIPTION_ID > / resourceGroups / < YOUR_RESOURCE_GROUP > /供應商/ Microsoft.Databricks / accessConnectors / < ACCESS_CONNECTOR_NAME >
在下一步中,我們需要選擇磚工作區,僅此而已。
測試
在磚,我們可以去數據瀏覽。將會有信息顯示metastore創建。在metastore示例中,目錄“主要”模式創建“默認”。為了測試metastore,我們可以創建一個表使用創建表main.default.test (int ID);