困惑關於數據存儲:數據資產在磚和蜂巢Metastore vs三角洲湖vs Lakehouse vs DBFS和統一目錄vs Azure Blob

[Oliver_Angelil]

大家好

似乎有許多不同的方式來存儲和管理數據的磚。

這是數據資產在磚:

然而數據也可以存儲(包括超鏈接到相關頁麵):

• 在一個Lakehouse
• 在三角洲湖
• 在Azure Blob存儲
• 在磚文件係統(DBFS)
• 在蜂巢Metastore(遺留-不再推薦嗎?)
• 與統一目錄

一個新用戶如何理解所有這些選項和知道如何進行?是什麼磚的數據資產(見截圖),它是如何與其他的選項我已經列出。尋找推薦的數據存儲和訪問的方法。

非常感謝你提前。

[karthik_p]

@Oliver馬克先生通常在磚也存儲在數據管理/外部表。

管理表元數據和數據相關的元數據存儲在相同的位置這是hive_metastore (DBFS)根中存儲配置數據磚配置的一部分。

在外部表,表元數據存儲在hive_metastore和數據存儲在外部存儲(任何外部存儲s3 / azure blob, gc),你會安裝嗎

作為治理進入圖片統一目錄,DBFS由於安全原因不推薦。

您可以創建自己的metastore並鏈接到磚帳戶——>鏈接磚工作區- - >目錄- - >表數據和元數據

如果你已經在蜂巢metastore任何數據,您可以遷移到數據磚統一目錄(新創建自己的metastore)

加州大學有一些限製,如果你寧願和加州大學是最好的選擇去__ >磚建議管理表

[Oliver_Angelil]

由於@karthik p

因此,推薦的方法是統一目錄管理表嗎?

即不使用hive_metastore (DBFS) ?

[karthik_p]

@Oliver馬克先生一旦啟用統一的目錄你可以使用新創建的目錄metastore統一,不需要DBFS hive_metastore遺留。還磚建議去與外部位置沒有坐騎坐騎不多了

[Oliver_Angelil]

由於@karthik p -外部位置是什麼意思?例如我看到我的名字在hive_metastore外部(它來自dbfs)。外部表和一個內部表是什麼?