數據治理的最佳實踐

本文介紹了最佳實踐數據治理,組織架構原則在下麵幾節中列出。

1。統一數據管理

管理元數據對所有資產在一個地方

作為一項最佳實踐,運行lakehouse與一個在一個帳戶統一目錄。頂層容器對象統一目錄是一個metastore。它存儲數據資產(如表和視圖)和控製訪問權限。使用單個metastore /雲區域和不訪問metastores跨區域,以避免延遲問題。

metastore提供了三級命名空間:

磚推薦使用目錄提供隔離在你組織的信息架構。通常這意味著目錄可以對應於軟件開發環境範圍,團隊,或業務單位。

2。統一數據安全

集中訪問控製

磚Lakehouse平台提供了數據的訪問控製方法,Beplay体育安卓版本機製描述的團體或個人可以訪問哪些數據。這些語句可以非常細粒度的和具體的政策,到每個記錄的定義,每個人都有訪問權。也可以是非常富有表現力和廣泛,如金融用戶可以看到所有財務數據。

統一目錄集中訪問控製文件、表和視圖。統一目錄中的每個可獲得的對象有一個所有者。一個對象的所有者對象上的所有權限,以及可獲得的對象權限授予的特權和其他主體。統一目錄允許管理權限,並配置訪問控製通過使用SQL DDL語句。

統一目錄使用細粒度訪問控製的動態視圖,這樣您就可以限製對行和列的訪問授權查詢的用戶和組。看到創建一個動態視圖

為進一步的信息看安全、合規和隱私-使用最小特權身份和訪問管理

配置審計日誌記錄

磚提供審計日誌磚用戶執行的活動,讓您的企業監控詳細數據磚使用模式。有兩種類型的日誌:工作與工作空間層事件和審計日誌帳戶級別與帳戶級別事件審計日誌。

審計事件統一目錄

統一目錄捕獲一個審計日誌針對metastore執行的行動。這使管理員能夠訪問細粒度訪問給定的數據集和細節他們執行什麼操作。

審計數據共享事件

對於安全與三角洲分享分享,磚提供審計日誌監控三角洲分享活動,包括:

  • 當有人創建、修改、更新或刪除共享或收件人。

  • 當接收者訪問一個激活鏈接和下載證書。

  • 當接收者訪問股票或共享表中的數據。

  • 當一個收件人的憑據是旋轉或到期。

3所示。數據質量管理

磚Lakehouse平台提供了強大的內置數據質量管Beplay体育安卓版本理與質量控製、測試、監控、和執行,以確保準確和有用的數據用於下遊BI,分析和機器學習的工作負載。

看到可靠性——管理數據質量

4所示。安全地共享數據和實時

使用開放三角洲分享與合作夥伴共享數據的協議

三角洲分享提供了一個打開解決方案安全地共享實時數據從你lakehouse任何計算平台。Beplay体育安卓版本收件人不需要磚平台,在相同的雲,或任何雲。Beplay体育安卓版本δ分享本地與統一目錄集成,使組織能夠集中管理和審計在整個企業中共享數據和自信地共享數據資產,同時滿足安全性和遵從性需求。

數據提供者可以共享實時數據從那裏駐留在自己的雲存儲沒有複製或移動到另一個係統。這種方法減少了運營成本的數據共享,因為數據提供者不需要複製數據多次穿過雲層,地理位置,或數據平台的數據消費者。Beplay体育安卓版本

使用Databricks-to-Databricksδ磚用戶之間共享

如果你想分享數據和用戶沒有訪問你的metastore統一目錄,您可以使用Databricks-to-Databricks三角洲分享,隻要收件人使用磚工作區,啟用統一的目錄。Databricks-to-Databricks分享可以讓你與其他用戶共享數據磚賬戶,在雲地區,雲提供商。這是一個很好的方法來安全地共享數據在不同目錄metastores統一在自己的磚。