建立一個單一的真理來源意味著什麼?

Databricks Lakehouse通過將數據訪問和存儲統一在一個係統中,消除了跨多個係統創建和同步數據副本的需要,將Lakehouse建立為單一真相來源(SSOT)。重複數據通常會導致數據豎井,這意味著組織中的不同團隊可能在質量和新鮮度上不同的相同數據版本上工作。

湖屋如何控製交易和數據訪問?

Delta Lake事務使用與數據文件一起存儲的日誌文件在表級提供ACID保證。由於支持Delta Lake表的數據和日誌文件一起存在於雲對象存儲中,因此對於業務關鍵型工作負載,可以同時進行數據的讀寫,而不會有大量查詢導致性能下降或死鎖的風險。這意味著整個企業環境中的用戶和應用程序可以連接到相同的數據副本,以驅動不同的工作負載,所有查看器都保證在查詢執行時接收到最新版本的數據。

管理對生產數據的訪問

Unity Catalog提供了一個集中的數據治理解決方案,允許數據管理員為用戶、組和服務主體提供細粒度的訪問控製。Unity Catalog使用訪問控製列表(acl)管理權限,在配置資源時提供靈活性和專一性。一些可配置的權限包括:

  • 對少數表的隻讀訪問。

  • 數據庫的表創建和修改權限。

  • 能夠讀取或修改特定雲存儲位置中的數據。

  • 通過Unity Catalog托管存儲憑證訪問許多雲資源。

有關更多信息,請參見什麼是Unity Catalog?

利用湖屋的景觀

Databricks上的視圖表示對存儲在lakehouse中某個表中的數據所保存的查詢。生成表的查詢是在寫時執行的,而視圖在每次對視圖執行查詢時執行定義邏輯。這意味著視圖可以提供對來自各種來源的數據的最新訪問,並且計算隻用於在需要時更新結果。

您可以使用Unity Catalog與其他數據對象一起保護和共享視圖,允許個人和團隊共享驅動整個組織的關鍵業務決策的邏輯。

有關更多信息,請參見Databricks Lakehouse中的數據對象

與合作者共享數據

雖然Unity Catalog中的acl涵蓋了在企業組織中共享數據的廣泛用例,但Delta sharing通過管理對數據集的隻讀訪問進一步擴展了這一點,這些數據集可以在任何地方與合作者共享。Unity Catalog支持的用例包括:

  • 為跨國公司的孤立區域提供實時訪問區域分析。

  • 在同一公司保護傘下的獨立業務之間共享數據集。

  • 為第三方消費者提供對客戶管理的數據集的安全訪問。

在Databricks上,Delta Sharing內置在Unity Catalog中,但它也是開源三角洲湖.有關更多信息,請參見使用Delta Sharing安全地共享數據