在Databricks，我們有一種(健康的)癡迷於建立和尋找新的方法來解決客戶最大的痛點，這樣他們就可以在他們所有的數據中釋放新的價值——不管他們在組織中的角色是什麼。beplay体育app下载地址數據網格通過讓團隊完全控製他們的生命周期，同時支持更多的自助服務，幫助解決了其中的一些挑戰。數據湖屋架構幫助組織驅動他們的數據網之旅通過啟用分散的方法存儲和處理數據，同時仍然集中安全、治理和發現。
這就是為什麼今天，我們很高興地介紹MeshaVerse，這是一個由lake house驅動的數據網格，通過vr驅動的體驗，為您提供對數據的全麵交互式控製。MeshaVerse在三角洲湖的數據上引入了一個新的增強現實層，通過在你的虛擬Lakehouse．要開始，你所需要的是一個Delta Lake數據的虛擬克隆，使用:
創建房間sales_data
虛擬克隆source_table_name
位置MeshaVerse /房間
MeshaVerse完全從基於雲的Lakehouse中抽象數據。沒有數據或元數據實際上存儲在MeshaVerse中——沒有更多的數據安全挑戰或遵從性噩夢。
作為產品的虛擬域數據
在通往數據網格的道路上，我們發現許多數據團隊仍然在努力發現和使用孤立的數據。為了解決這個問題，我們正在轉向虛擬分布式領域驅動架構中的虛擬數據。
隨著MeshaVerse連接器的開發，我們的工程師通過增強數據現實體驗建立了湖屋的虛擬抽象數據室建築量子．這使數據團隊能夠將其數據的完整抽象構建到虛擬數據集中，創建虛擬領域數據，然後使用與供應商無關的VR頭顯或智能眼鏡使用這些數據。
虛擬域數據作為一種產品，可以幫助數據團隊通過滿足以下要求來嚴格應用數據集:
- 可發現:在虛擬房間中，可以使用MeshaVerse VR智能眼鏡發現數據。通過交互式體驗，數據科學家、數據工程師和開發人員可以用手探索虛擬數據集。
- 可尋址:用戶可以在Lakehouse中租用房間，使數據可以通過他們的房間號直接尋址。
- 共享:協作是Databricks的核心。通過MeshaVerse，數據從業者可以在房間裏會麵，探索和分享多語言delta產品。
- 安全:在MeshaVerse中沒有可訪問或可用的數據——即使是基於角色的房間鑰匙卡——安全性是不可逾越的。最小化安全威脅，同時簡化法規遵從性。
它是如何工作的
在設計MeshaVerse時，我們主要關注的是在確保數據可靠性、數據質量和規模的同時保持去中心化。我們的新方法包括實現Dymlink，一個數據湖中的符號鏈接，和一個新的SlinkSync(符號鏈接同步)，一個將Dymlinks鏈接在一起的符號鏈接——類似於鏈表。
通過確定哪些符號鏈接可以組成一個集合-使用直接概率匹配或間接逆概率匹配-我們能夠推斷非發散序列的收斂準則(即數據的壓縮表示)，同時始終確保我們保持在曲線的梯度內。因此，我們能夠防止無限遞歸，這種遞歸可能會使數據網格中的所有數據檢索失效。請繼續關注我們以後的博客，在那裏我們將更深入地研究這種方法。
這個虛擬數據的完整性是實時的，並在規模上使用最新的實現磚Brickchain，利用全球所有的計算能力，從而提供了以一小部分足跡存儲整個地球數據的潛力。
MeshaVerse原則
Data Mesh的實用性很大程度上取決於它的核心操作原則。為了與這種方法保持一致，我們開發了自己的MeshaVerse原則集，旨在增強數據團隊的能力並簡化虛擬數據用例:
增強的數據所有權和架構
MeshaVerse中的領域數據通過MeshaVerse ar生成的感知信息得到增強，這些感知信息有時跨越多種感官模式，包括視覺、聽覺、觸覺、體感和嗅覺。MeshaVerse AR可以定義為一個包含三個基本功能的係統:真實數據和虛擬數據的結合、實時分析和虛擬數據的精確3D注冊。
數據作為快捷方式
數據爆炸是真實存在的。隨著企業積累的數據呈指數級增長，他們麵臨著數據沼澤和擴展挑戰。MeshaVerse係統設計旨在減少對數據流和管道建設的需求。通過我們的虛擬現實眼鏡，與您的數據麵對麵。即使所有這些都不容易得到。不需要編碼。
自助體驗
在MeshaVerse裏租一個房間，享受類似airbnb的體驗。無論是單獨或與您的整個數據團隊更精簡的協作。從預先設計的湖屋設置中選擇。
聯邦計算治理
您的數據的符號鏈接表示以加密哈希的形式存儲在Brickchain中的塊中，使任何參與方都可以驗證數據是完全安全的。在brickchain的分布式賬本的點對點網絡中，元數據在聯邦架構中進行管理。
接下來是什麼
MeshaVerse是Databricks Lakehouse的下一個發展，它加速了我們讓Databricks變得簡單、開放和多現實的願景。這就是為什麼我們要成立一個新的研發辦公室專門研究MeshaVerse。請繼續關注更多細節!
