鎢

鎢項目是什麼?

鎢的代號是傘項目修改Apache火花的執行引擎,關注大幅提高火花應用程序的內存和CPU的效率,推動現代硬件性能接近的極限。

這些舉措鎢項目包括:

• 內存管理和二進製處理:利用應用程序語義顯式地管理內存和消除JVM對象模型和垃圾收集的開銷
• 支持緩存計算:算法和數據結構,利用內存層次結構
• 代碼生成:使用代碼生成利用現代編譯器和cpu
• 沒有虛函數文件:這減少了多個CPU調用時可能會對性能產生深遠影響調度數十億倍。
• 中間數據在內存和CPU寄存器:鎢階段2的地方中間數據轉換成CPU寄存器。這是訂單數量的大小減少周期獲得CPU寄存器的數據而不是從內存
• 循環展開和SIMD:優化Apache火花的執行引擎利用現代編譯器和cpu的能力有效地編譯和執行簡單的for循環(相對於複雜的函數調用圖)。

專注於CPU效率是出於這一事實引發工作負載越來越瓶頸的CPU和內存使用,而不是IO和網絡通信。所表現出的趨勢是最近的研究對大數據的工作負載的性能。