統一目錄——多個metastore在同一地區

[馬拉]

這就跟你問聲好！

所以我一直在努力統一目錄,因為它似乎增加許多偉大的功能。

但有一件事我不能弄清楚的是,我們不能(不應該?)使用多個metastores在同一地區的加州大學。

讓我解釋我的usecase:

我們有兩個環境開發/生產每一瓦分貝。

我們使用meddalion orginanized架構我們的數據:

bronze.source_system.dataset2

bronze.source_system.dataset1

現在我要做的就是使用這種命名約定中所有表的加州大學,但這是不可能的因為表存儲在dev和刺激會碰撞。和解決方案添加一個前綴/後綴在表名不是很優雅的清規戒律。

我們可以做一些類似:

prod_bronze.source_system.dataset2

prod_bronze.source_system.dataset1

或

prod.bronze_source_system.dataset2

prod.bronze_source_system.dataset1

但是我們需要我們的代碼來跟蹤環境的代碼被執行在選擇正確的桌子在我們的管道任務。

所以我想做的是使用一個metastore /環境,這對我們也會減輕另一個問題:這一事實我們必須將所有管理表存儲在同一個存儲賬戶,即使他們是在不同的環境中創建的。這不是一個選擇對我們來說,肯定我們可以使用外部表,但仍然不是很好。

心存感激,任何輸入,您的解決方案如何看在沙箱中使用加州大學/ dev / prod環境嗎?

謝謝!

[Kaniz]

嗨@Daniel Alteborg,我們一直沒有收到你自從上次反應@Sivaprasad C年代,我檢查是否你有一個決議。

如果你有任何解決方案,請與社區分享,因為它可以幫助別人。否則,我們將與更多的細節和試圖幫助回應。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

[wojciech_jakubo]

我非常喜歡的特性統一目錄。但同時我發現其極值具有挑戰性,以實現這一大組織在其目前的形式由於1 - 1與AAD租戶和1 metastore約束。

我們有一個AAD租戶使用多個商業團體運行多個產品。他們來自不同的行業,與對方。我是一個建築師在一個這樣的產品。我們有多個與多個湖泊和DB env工作區。聽起來像一個很好的用例對吧?沒那麼快。

有組織難以回答的問題:

1)將管理“帳戶”?AAD全球管理員對磚一無所知,他們不想做這個東西(給權限,創建目錄等)。所以它必須deletaged——但誰?這可能是我,但這意味著我將能夠控製對方的商業團體目錄的訪問。他們會同意嗎?這也意味著我將處理他們的請求。這意味著必須有一些“寬磚管理公司”提名誰將管理所有這些東西。完成,並不容易。

2)將舉辦和管理共同metastore存儲帳戶和訪問連接器嗎?以來對整個組織,它分為一些桶“常見的下文/著陸區”,通常由一些中央下文團隊管理。所以你需要在船上。

3)自動化呢?我想有一個SPN,例如可以創建目錄,並使用它為我的CI / CD。但是現在,沒有細粒度的權限metastore——要麼你是否管理水平。擁有一個“admin”SPN),可以創建和控製訪問所有目錄metastore(這可能屬於多個商業組織),不僅其幾乎不可能,但也很愚蠢。

所有這些問題歸結為一件事——為什麼這個必須與AAD的房客嗎?或者我們為什麼不能有多個metastores每個地區,每個產品/產品組和管理自己的?然後每個人都會照顧自己的東西,每個人都會快樂!