我是新數據磚。設置數據磚統一目錄,在最佳實踐方麵我有一些問題。

[Avvar2022]

1. 是最佳實踐的獨立統一目錄元存儲ADLS Gen2分開ADLS創2存儲數據?
2. 因為每個區域隻有一個可以創建元商店,會有一個單獨的元存儲為刺激,和NON-PROD (QA和DEV) ?如果是他們需要獨立的地區。
3. 我的理解是一元商店可以配置為一代> 1 ADLS容器。這意味著所有環境中使用這個1集裝箱?在多訂閱環境應該存儲賬戶應該主持。

提前感謝您的幫助!

[匿名 · Accepted solution]

@Ashok Zubrewar請找到答案內聯

• 是最佳實踐的獨立統一目錄元存儲ADLS Gen2分開ADLS創2存儲數據?
  • 盡管它不是強製性的,但最好是單獨的加州大學ADLS路徑從其他數據,以避免管理開銷。
• 因為每個區域隻有一個可以創建元商店,會有一個單獨的元存儲為刺激,和NON-PROD (QA和DEV) ?如果是他們需要獨立的地區。
  • 不需要為每個環境,創建單獨的metastore隔離環境中通過管理每個目錄的位置。我的意思是,創建DEV目錄管理位置(單獨的容器)和其他環境創建目錄不同的容器管理的位置。因此數據的每個環境是孤立的。請參考下麵的醫生在同一。

https://learn.microsoft.com/en-us/azure/databricks/data-governance/unity-catalog/create-metastore

• 我的理解是一元商店可以配置為一代> 1 ADLS容器。這意味著所有環境中使用這個1集裝箱?在多訂閱環境應該存儲賬戶應該主持。
  • 先前的評論部分回答了這個問題。你可以通過容器隔離環境水平或不同ADLS存儲賬戶本身。確保您已經設置存儲憑證和外部位置的路徑在創建與管理目錄的位置。

[Avvar2022]

感謝你的回應。根據你的答案,我也建立了POC metastore和能夠理解目錄分離。

1。我清楚

2。我清楚

3所示。我還不清楚,即使它不是強製性的2代存儲賬戶單獨ADLS但假設在我們的例子中我們做了一個決定有2 ADLS Gen2分開。

——加州大學目錄

第二存儲數據(目錄/模式/表)

在加州大學的多訂閱環境路徑(ADLS Gen2Storage賬戶)應該舉辦?在刺激訂閱或Non-Prod訂閱?還是有關係嗎?隻要所有嚴格的訪問控製可以訂閱我們主機?因為我們是從頭開始想獲得一些關於最佳實踐的反饋。

[Vidula_Khanna]

嗨@Ashok Zubrewar

輸入問題!回來幫助我們的社區發展,標誌著最有幫助的和準確的答案。在一起,我們就能改變!

感謝和問候

[karthik_p]

@Ashok Zubrewar來3 rd問題,如果您正在使用任何外部表那麼非uc ADLS GEN 2是強製性的,你不能使用加州大學ADLS代。主機和管理元數據表數據。沒有限製你的外部桶(ADLS GEN2儲存區域應與加州大學ADLS GEN2相同的地區,但為了避免性能問題最好的方法是在同一地區)。一旦你配置非UC ADLS GEN2並添加存儲憑證和存儲位置,你應該很高興訪問你ADLS GEN2在加州大學,但是目前我們需要記住我們在加州大學限製外部表(不支持優化),磚建議使用管理表。但基於用例,我們需要,作為分析的主要目的,我們將使用外部表,我們不可能避免