引入光子引擎

今天,我們宣布光子引擎聯係在一起100% Apache Spark-compatible矢量化查詢引擎利用現代CPU架構優化引發3.0的查詢優化器和緩存功能,啟動磚7.0運行時的一部分。在一起,這些特性顯著加速數據的查詢性能湖泊,尤其是那些被啟用三角洲湖,以方便客戶采納和規模beplay体育app下载地址lakehouse體係結構。

擴展執行性能

的一大硬件趨勢在過去的幾年中,CPU時鍾速度已經到頭。外的原因是這個博客的範圍,但結論是,我們必須找到新的方法來處理數據速度超出原始計算能力。最有效的方法之一,是改善可以並行處理的數據量。然而,數據處理引擎需要專門的架構利用並行性。

此外,數據團隊得到了越來越少的時間正確模型數據為業務增長的步伐。貧窮建模的利益更好的業務敏捷性驅動器貧窮的查詢性能。當然,這並不是一個理想的狀態,和組織想要找到提高敏捷性和性能的方法。

宣布光子引擎高性能查詢執行

光子引擎加速三角洲湖SQL的性能和數據幀負載通過三個組件:一個改進的查詢優化器,一個緩存層,執行層和雲之間的對象存儲,和一個本地矢量化的執行引擎用c++寫的。

改進的查詢優化器擴展了功能已經在火花3.0(基於成本的優化器、自適應查詢執行和動態運行時過濾器)更高級的統計提供18 x增加了星型模式的工作負載的性能。

光子引擎的緩存層自動選擇輸入數據緩存的用戶,更種格式轉碼這一路上,以更好地利用NVMe ssd存儲速度的增加。這提供了快5倍掃描所有工作負載的性能。

然而,光子引擎最大的創新來應對麵臨的挑戰數據團隊今天是本機執行引擎,我們稱之為光子引擎。(我們知道。這是在一個引擎在引擎…)這完全重寫執行引擎磚建成的最大化性能從現代雲硬件的新變化。它帶來的性能改進所有工作負載類型,而剩下的完全兼容開放火花api。

在不久的將來,我們會潛水光子引擎罩下的另一個博客向大家展示它是如何工作的,最重要的是,它如何執行。

開始使用光子引擎

通過連接這三個組件連接在一起,我們認為這將是更容易為客戶了解改進磚內的多個位置代碼聚合到更快的性能分析工作負載數據湖泊。beplay体育app下载地址改進的查詢優化器和緩存的改進是可用的今天,我們會提供光子引擎越來越多客戶在今年剩下的時間。beplay体育app下载地址

我們非常高興與光子引擎的價值交付給我們的客戶。beplay体育app下载地址雖然時間和節約成本已經是有價值的,它的作用在lakehouse模式支持新的數據如何進步團隊設計他們的數據架構增加統一和簡單。