介紹磚優化的自動定量在Apache引發™

雲成本降低30%

通過普拉卡什Chockalingam,埃裏克·梁,如來佛Das和讓斯蒂芬

2018年5月2日在公司博客上

分享這篇文章

磚激動地宣布我們的新優化的自動定量功能。新的Apache火花™意識到資源管理器利用火花洗牌和執行人統計調整集群智能,提高資源利用率。當我們測試長時間運行大數據工作負載,我們觀察到雲高達30%的成本節省。

目前最先進的自動定量方法的問題是什麼?

今天,每一個大數據工具可以自動擴展計算來降低成本。但大多數這些工具預計一個靜態資源大小分配給一個工作,不利用雲的彈性。資源調度器像紗然後照顧“粗粒度”自動定量不同工作,激發工作完成後釋放資源。

/ bin / spark-submit\
——類org.apache.spark.examples.SparkPi\
——主紗\
——deploy-mode集群\#可以客戶端模式
——num-executors 50 \
/ / examples.jar /路徑

一個例子spark-submit命令,執行器所需的數量引發工作作為一個參數。

這引入了兩個主要問題:

確定正確的數量的執行人所需的一個工作:我的工作需要多少計算資源完成在一個可接受的SLA ?這裏有重要的試驗和錯誤決定正確的數量的執行人。
最優資源利用率,通常源於過度供應。過度供給的用戶資源,因為:
- 生產火花工作通常有多個火花階段。有些階段可能需要巨大的計算資源比其他階段。用戶提供大量的執行人根據階段需要最大的資源。有這樣一個靜態的大小分配給整個引發多個階段的工作導致次優的資源利用率。
- 處理的數據量ETL工作根據每天的時間波動,天的星期,和其他季節性因素像“黑色星期五”。一般資源供應的最大負載的火花在期望的工作。這是非常低效的ETL作業時處理少量的數據。

為了克服上述問題,Apache火花動態分配選項,描述在這裏。但這需要建立一個洗牌服務外部執行者在每個工作節點在同一集群允許執行人被刪除不刪除的洗牌文件他們寫道。雖然執行程序可以刪除,但是工人節點仍保留外部洗牌服務可以繼續服務文件。這使得它不可能調整的集群利用雲的彈性。

介紹磚優化的自動定量

新的優化的自動定量計算資源服務允許集群規模上下更積極地響應負載和提高集群資源的利用率會自動從用戶不需要任何複雜的設置。

傳統的粗粒度自動定量算法並不完全縮小集群資源分配給一個火花工作而工作是運行。最主要的原因是缺乏信息執行器使用。刪除工人與活動任務或造成洗牌文件將引發re-attempts和中間數據的重新計算,導致性能降低,有效利用率較低,因此為用戶更高的成本。然而在這種情況下,隻有少數活躍任務一個集群上運行,例如當火花作業展覽傾斜或當一個特定階段的工作有較低的資源需求,無法縮小導致利用率降低,因此為用戶更高的成本。這是一個巨大的對傳統自動定量錯失良機。

磚的優化自動定量解決這個問題通過定期報告空閑執行人的詳細統計數據和集群中的中間文件的位置。磚服務使用這些信息來更精確的目標縮減工人當利用率很低。特別是服務可以減少和消除閑置勞動力存在未充分利用集群上即使有任務運行在其他執行人的火花工作。這種行為是不同於傳統的自動定量,這需要整個火花工作完成開始降低。在降低,磚服務刪除一個工人隻有空閑和不包含任何洗牌被運行查詢的數據。因此在縮小規模運行作業和查詢不受影響。

因為磚可以精確目標為降低工人的低利用率,集群可以調整更積極響應負載。特別是在低利用率,磚集群可以大舉縮減沒有殺戮任務或再計算中間結果。這使計算資源浪費降到最低,同時保持集群的響應能力。由於磚可以擴展集群的積極,也擴展集群向上積極應對需求響應不犧牲效率高。

以下部分說明了新的自動定量特性的行為和利益在磚用於運行時工作。