宣布公開預覽數據沿襲的統一目錄

今天,我們很高興宣布公共預覽的數據沿襲統一目錄在AWS和Azure,可用。

在先前宣布的博客中,我們討論了如何團隊可以利用數據沿襲lakehouse作為有效數據治理的有力工具。在這個博客中,我們探索的一些關鍵特性在本版本中,如何開始捕捉數據沿襲與統一目錄,和一個先睹為快到我們即將到來的路線圖血統。

統一目錄,現在一般用於AWS和Azure,提供了一個統一的治理解決方案的所有數據和人工智能資產在你lakehouse雲。與自動數據沿襲統一目錄、數據團隊現在可以跟蹤法規遵循需求的敏感數據,保證數據質量,並執行整個lakehouse任何數據變化的影響分析。血統是聚合所有工作區目錄metastore附加到團結。這意味著血統捕獲在一個工作區中是可見的在其他任何工作區metastore共享。

關鍵數據沿襲特性與公眾預覽

所有工作負載在任何語言的譜係:統一目錄自動跟蹤數據沿襲在查詢執行任何語言(Python、SQL、R和Scala)和執行模式(批處理和流)。譜係圖顯示在實時隻需要點擊幾下。

血統的筆記本、工作流和儀表板:統一目錄也為筆記本電腦捕捉血統,工作流和儀表板。這有助於與組織中的端到端可見性數據是如何使用和理解任何數據變化對下遊的影響消費者。

內置的安全:譜係圖利用統一的公共許可模型目錄。用戶必須有正確的權限查看譜係數據,添加一個額外的安全層和最小化任何數據泄露的風險。如果用戶沒有選擇特權在桌子上,他們將無法探索與該表相關的血統。此外,用戶可以看到血統信息隻有筆記本,工作流,和儀表板視圖的權限。

列級粒度:統一目錄捕獲數據沿襲表、視圖和列。這個信息給團隊一個細粒度的數據視圖的數據流都從一個特定的表或列在上遊和下遊的lakehouse幾個點擊。

通過REST API很容易出口:血統信息可以通過REST API來支持集成檢索與其他數據目錄和治理解決方案。

開始使用在統一編目數據沿襲

看下麵的演示,了解更多關於數據沿襲能力統一目錄。

數據沿襲可用磚溢價和企業層沒有額外的成本。如果你已經是一個磚客戶,按照數據沿襲指南(AWS|Azure)開始。如果你沒有一個現有的磚客戶,注冊一個免費試用溢價或企業工作空間。

接下來會發生什麼

這隻是一個開始,我們正在激動人心的新功能來實現我們的願景為無縫的數據可觀測性和數據質量與數據沿襲lakehouse。

血統的文件:跟蹤血統回到文件雲存儲——特別是對於第一英裏ETL的用例。

語境血統:觀點和行動血統最相關的地方——例如,視圖血統為一個特定的工作流來快速了解失敗的影響。

家族係統表:以編程方式訪問預定義的係統表查詢譜係數據使用您喜歡的語言。