介紹物化視圖為磚和流表的SQL

我們很高興宣布,物化視圖和現在公開在流表磚的SQL在AWS和Azure。流表提供增量攝取從雲存儲和消息隊列。物化視圖是自動和增量更新新的數據到達。在一起,這兩個功能支持infrastructure-free數據管道,是簡單的設置和提供新的數據業務。在這篇文章中,我們將探討這些新功能使分析師和分析工程師更有效地提供數據和分析應用程序的數據倉庫。

背景

數據倉庫和數據任何數據驅動的組織工程是至關重要的。數據倉庫作為分析和報告的主要位置,而工程涉及創建數據管道攝取和轉換數據。

然而,傳統的數據倉庫並不是專為流攝入和轉換。攝入大量的數據與低延遲在傳統數據倉庫是昂貴和複雜,因為遺留數據倉庫設計為批處理。因此,團隊不得不實現笨拙的解決方案,需要配置以外的倉庫,需要使用雲存儲作為一個中間分段位置。管理這些係統是昂貴的,容易出錯,而複雜的維護。

的磚Lakehouse平台Beplay体育安卓版本擾亂了這種傳統模式通過提供一個統一的解決方案。三角洲生活表(DLT)最好的地方是做工程和數據流,然後呢磚的SQL提供了12 x更好的價格/性能對現有的數據分析工作負載湖泊。

另外,現在合作夥伴像印度生物技術部可以與這些原生功能集成,我們更詳細地描述在本公告。

數據倉庫用戶麵臨的共同挑戰

數據倉庫作為內部的主要位置分析和數據交付報告通過商業智能(BI)應用程序。采用數據倉庫組織麵臨著一些挑戰:

• 自助服務:SQL分析師經常麵臨的挑戰是依賴於其他資源和工具來解決數據問題,放緩的步伐可以解決業務需求。
• 緩慢的BI儀表板:BI儀表板用大量數據傾向於慢慢地返回結果,阻礙交互性和可用性在回答各種問題。
• 陳舊的數據:BI儀表板經常存在陳舊的數據,比如昨天的數據,由於ETL作業隻在夜間運行。

使用SQL攝取和轉換數據沒有第三方工具

流表和物化視圖使SQL分析師與數據工程最佳實踐。考慮一個例子的不斷攝取新來的文件從一個S3位置和準備一個簡單的彙報表。磚SQL分析員可以很快發現和預覽的文件在S3和建立一個簡單的ETL管道在幾分鍾內,僅用幾行代碼就像下麵的例子:

1 -在S3中發現和預覽數據

/ *發現你的數據在外部位置* /名單”s3: / / mybucket /分析”/ * * /預覽數據選擇*從read_file (s3: / / mybucket /分析)

2 -攝取數據以流的方式

在規模* / / *連續流攝取創建流媒體表my_bronze_table安排CRON的00*嗎?***”作為選擇id, event_id從流read_file (“s3: / / mybucket /分析”)

3 -聚合數據使用物化視圖增量

/ *創建一個銀總表* /創建物化視圖my_silver_table安排CRON的00*嗎?***”作為選擇數(截然不同的event_id)作為event_count從my_bronze_table;

物化視圖是什麼?

物化視圖降低成本和提高查詢延遲並不是預先計算慢查詢和常用的計算。在數據工程背景下,它們是用於轉換數據。但他們也有價值的分析師團隊在數據倉庫環境中,因為他們可以用來(1)加快終端用戶查詢和BI儀表板,和(2)安全地共享數據。之上的三角洲生活表,MVs減少查詢延遲並不是預先計算否則緩慢的查詢和常用的計算。

物化視圖的好處:

• 加速BI儀表板。因為MVs預計算數據,終端用戶的查詢速度要快得多,因為他們不需要直接處理文檔通過查詢基表的數據。
• 減少數據處理成本。MVs結果刷新時避免需要完全重建視圖采用增量新數據到來。
• 改善數據訪問控製的安全共享。更嚴格的管理哪些數據可以被消費者控製對基表的訪問。

流表是什麼?

DBSQL攝入是流表(STs)來完成。你能想到的STs的理想將數據引入“青銅”表。STs使連續的,可伸縮的攝入從任何數據源包括雲存儲、消息總線(EventHub, Apache卡夫卡)等等。

流表的好處:

• 打開實時用例。支持實時分析能力/ BI、機器學習和操作用例流數據。
• 更好的可伸縮性。通過增量更有效地處理大量數據的處理對大批量。
• 使更多的從業者。簡單的SQL語法使數據流可以訪問所有數據工程師和分析師。

丹麥官方加速客戶的故事:Adobe和儀表板與物化視圖的查詢

磚SQL使SQL和數據分析師容易攝取,清潔,和豐富的數據來滿足業務的需要不依賴第三方工具。可以做的一切完全在SQL,簡化工作流程。

通過利用物化視圖和流表,您可以:

• 讓你的分析師:SQL和數據分析師可以很容易地攝取,清潔,和豐富的數據快速滿足您的業務的需求。因為一切都可以做到完全在SQL,不需要第三方工具。
• 加快BI儀表板:創建MV的加速SQL並不是預先計算分析和BI報告的結果。
• 移動實時分析:結合MV與流表創建增量數據管道進行實時的用例。你可以設置流數據管道直接攝入和轉換數據磚SQL倉庫。

Adobe先進的人工智能方法,使世界的使命更有創造力,生產力,與人工智能、個性化的副駕駛增強人類的聰明才智。作為主要客戶預覽磚物化視圖的SQL,他們看到了巨大的技術和商業利益,幫助他們實現這個使命:

“物化視圖的轉換導致了大幅改進查詢性能,與執行時間從8分鍾降低到3秒。這使我們的團隊更有效地工作和更快的決策的基礎上,從數據中獲得感悟。另外,增加的成本確實有幫助。”

文卡特桑——戀人,老安全軟件工程經理,Adobe

丹麥官方成立於1948年,是丹麥國家彩票,是我們的一個早期預覽版客戶數據庫SQL物化視圖。beplay体育app下载地址Søren克萊因、數據工程團隊領導,分享他的觀點是什麼讓物化視圖如此寶貴的組織:

“在丹麥官方,我們使用物化視圖加速我們的網站跟蹤數據的性能。這個功能我們避免不必要的表的創建和添加複雜性,而得到一個持久化視圖的速度加速最終用戶報告解決方案。”

——Søren Klein,丹麥官方數據工程團隊領導

容易流攝入與印度生物技術部和轉換

磚和印度生物技術部實驗室合作簡化實時分析lakehouse建築工程。印度生物技術部的組合與磚的高度流行的分析工程框架Lakehouse平台提供了強大的功能:Beplay体育安卓版本

• 印度生物技術部+流表:流攝入從任何來源現在內置印度生物技術部項目。使用SQL,分析工程師可以定義和攝取雲/流數據直接在印度生物技術部管道。
• 印度生物技術部+物化視圖:與印度生物技術部建立有效的管道變得更容易,利用磚”強大的增量刷新功能。用戶可以使用印度生物技術部構建和運行管道MVs的支持,減少基礎設施成本和效率,增量計算。

外賣

數據倉庫和數據工程是至關重要的組件的任何數據驅動的公司。然而,管理各個方麵單獨的解決方案是昂貴的,容易出錯的,具有挑戰性的維護。磚Lakehouse平台帶來最好的本地數據工程功能Beplay体育安卓版本磚SQL,賦予SQL用戶提供一個統一的解決方案。此外,我們與合作夥伴的集成像印度生物技術部賦予我們的共同客戶利用這些獨特的功能提供更快的見解,實時分析和簡化數據工程工作流。beplay体育app下载地址

獲得磚遵循SQL物化視圖和流表這個鏈接。你也可以今天開始磚和磚的SQL或審查的文檔物化視圖和流表。