宣布Delta共享的普遍可用性
2022年8月26日 在公告
今天,我們很高興地宣布三角洲分享在AWS和Azure上通常可用(GA)。有了GA版本,您可以期待Databricks在Databricks Lakehouse平台上為關鍵任務工作負載提供最高級的穩定性、支持和企業就緒性。Beplay体育安卓版本
在本博客中,我們將探討組織如何利用Delta Sharing來最大化其數據的商業價值,GA發行版中可用的一些關鍵特性,以及如何在Databricks Lakehouse平台上開始使用Delta Sharing。Beplay体育安卓版本
beplay体育app下载地址湖屋數據共享的開放標準贏得了客戶
數據共享在數字經濟中變得非常重要,因為企業希望與客戶、合作夥伴、供應商和內部業務線(lob)輕鬆安全地交換數據,以更好地協作並從數據中釋放價值。beplay体育app下载地址但是,由於缺乏基於標準的數據共享協議,導致解決方案綁定到單個供應商或商業產品,從而帶來了供應商鎖定風險。這些客戶的挑戰促使我們在Databricks建立了一個開放的數據共享解決方案,Delta sharing。
Delta Sharing提供了一個開放的解決方案,可以安全地將您的湖屋的實時數據共享到任何計算平台。Beplay体育安卓版本數據接收者不必在Databricks Lakehouse平台上,也不必在同一雲上或任何雲上。Beplay体育安卓版本數據提供者可以基於Apache Parquet或共享現有的大規模數據集三角洲湖格式,無需複製或複製數據集到另一個係統。數據接收者受益於始終能夠訪問最新版本的數據,並能夠使用他們選擇的工具查詢、可視化、轉換、攝取或豐富共享數據,從而縮短了實現價值的時間。由於治理和安全是許多組織最關心的問題,因此Delta Sharing與統一目錄,允許您在一個平台上管理、治理、審計和跟蹤共享數據的使用情況。Beplay体育安卓版本
自從去年在私人預覽版中推出Delta Sharing以來,已有數百名客戶接受了Delta Sharing,今天,通過Delta Sharing可以共享千beplay体育app下载地址兆字節的數據。
納斯達克(Nasdaq):“Delta Sharing幫助我們簡化了大型數據集的數據交付流程。這使我們的客戶能夠帶著他們自己的計算環境來讀取新的策劃數據,幾乎沒有集成工作,並使我們能夠繼續擴大我們獨特的、高質量的數據產品目錄。”- William Dague,替代數據主管
外殼:“我們認識到,數據的開放性將在實現殼牌的碳淨零目標方麵發揮關鍵作用。Delta共享為殼牌提供了一個標準的、可控的、安全的協議,可以輕鬆地與合作夥伴共享大量數據,從而實現這些目標,而不需要我們的合作夥伴處於同一個數據共享平台上。Beplay体育安卓版本Bryce Bartmann,首席數字技術顧問
SafeGraph:“作為一家數據公司,讓我們的客戶訪問我們的數據集至關重要。beplay体育app下载地址Databricks Lakehouse平台與DeBeplay体育安卓版本lta Sharing確實簡化了這一過程,使我們能夠安全地接觸到更廣泛的用戶群,無論雲或平台工程副總裁Felix張
YipitData:“通過Delta Sharing,我們的客戶幾乎可以立即訪問精選數據集,並將其與他們選擇的分析工具集成。我們與客戶的對話從低價值的、技術性的反複討論轉變為高價值的分析性討論,從而推動成功的客戶體驗。隨著我們客戶關係的發展,我們可以通過Delta Sharing無縫地提供新的數據集,並更新現有數據集,讓客戶保持對其行業關鍵趨勢的評估。”-Anup Segu,數據工程技術主管
Pumpjack Dataworks:利用Databricks提供的強大的Delta Sharing功能,可以使Pumpjack Dataworks擁有更快的入廠體驗,無需導出、導入和重塑數據,這將為我們的客戶帶來即時價值。更快的結果為我們的客戶及其合作夥伴帶來更大的商業機會Corey Zwart,首席技術官
與GA共享Delta有什麼新功能?
雖然Delta Sharing在GA發行版中有一係列令人驚歎的功能,但以下是我們在此發行版中附帶的一些關鍵功能:
無縫數據庫到數據庫共享
對於Databrick客戶來beplay体育app下载地址說,Delta Sharing使湖屋上的數據共享變得極其簡單、高效和安全。隻需幾次UI點擊或SQL命令,數據提供者就可以輕鬆地在Databricks上與收件人共享其現有數據,而無需複製數據。例如,在AWS上使用Databricks的數據提供商可以與在Azure上使用Databricks的接收方共享現有數據,反之亦然。你可以瀏覽用戶指南詳情如下。在Databricks to Databricks共享中,數據提供者不需要為使用Databricks的接收者管理令牌憑據;通過Databricks平台安全建立共享連接。Beplay体育安卓版本你所需要的隻是一個Databricks賬戶來登錄,剩下的由平台來處理。Beplay体育安卓版本除了跨帳戶數據共享之外,另一個重要的用例是內部數據共享。如果您在不同地區的同一個帳戶下有多個Unity Catalog亞礦,您可以通過使用Delta Sharing輕鬆地在這些亞礦之間共享數據,而無需複製任何數據。從數據提供者的角度看SQL工作流示例:
——創建一個共享並向其添加一個表創建分享first_share;改變分享first_share添加表格my_table作為default.first_table;——使用Databricks的共享標識符創建一個Databricks接收者,並授予他們對共享的訪問權創建收件人acme使用ID“aws: -29 bb621ec110 us-west-2:3f9b6bf4 -…”;格蘭特選擇在分享first_share來收件人acme;
從數據接收方的角度看SQL工作流示例:
列出與我共享數據的供應商顯示供應商;——查看提供商acme_provider共享的數據顯示股票在提供者acme_provider;——從共享創建一個目錄創建目錄my_catalog使用分享“acme_provider”。“first_share”;——查詢共享數據選擇*從my_catalog.default.first_table;
共享變更數據提要
Delta Sharing現在支持共享更改數據提要(CDF)。除了共享表之外,數據提供者還可以選擇包含表的CDF,允許接收方查詢表的特定版本或時間戳之間的更改。有了這個特性,接收者可以每次隻查詢新數據或增量更改,而不是查詢整個表。數據提供者可以輕鬆地與CDF共享表,數據接收者可以使用簡單的語法查詢表的更改:
——數據提供者:共享一個啟用CDF的表改變分享my_share添加my_table作為default.cdf_table與更改數據饋送——數據接收者:查詢表從版本5到版本10的變化選擇*從table_changes (“違約。cdf_table”,5,10)
增強的安全特性
在Delta Sharing的GA發行版中,我們還提供了一組安全特性,使共享更加安全。這些安全特性的一個例子是IP訪問列表.數據提供者現在可以使用開放連接器為每個接收者配置IP訪問列表。它確保憑據下載和數據訪問隻能從目標IP地址發起。我們還添加了一些與Delta Sharing相關的權限(例如:創建共享,創建收件人),並介紹老板Delta共享對象的概念分享而且收件人.通過這些原語,Databricks上的Delta Sharing提供了一個更靈活的訪問控製模型,非管理員用戶也可以執行共享操作。
開始在Databricks上使用Delta共享
觀看下麵的演示,了解Delta Sharing如何幫助您無縫地將實時數據從您的湖屋共享到任何計算平台。Beplay体育安卓版本如果您已經是Databricks的客戶,請按照以下指南開始(AWS|Azure).讀了發布說明以了解更多關於這個GA發行版中包含的內容。如果您不是Databricks的現有客戶,請注冊一個免費試用使用高級或企業工作區。