提高異構環境下的MapReduce性能

摘要

MapReduce正在成為大規模數據並行應用(如web索引、數據挖掘和科學模擬)的重要編程模型。Hadoop是MapReduce的開源實現，被廣泛采用，通常用於響應時間很短的短任務。Hadoop的性能與它的任務調度器密切相關，它隱式地假設集群節點是同構的，任務是線性進展的，並使用這些假設來決定何時猜測地重新執行看起來掉隊的任務。在實踐中，同質性假設並不總是成立。發生這種情況的一個特別引人注目的設置是虛擬化數據中心，例如Amazon的Elastic Compute Cloud (EC2)。我們展示了Hadoop的調度器在異構環境中會導致嚴重的性能下降。我們設計了一種新的調度算法——最長近似結束時間(LATE)，該算法對異構性具有很強的魯棒性。在EC2上由200個虛擬機組成的集群中，LATE可以將Hadoop響應時間提高2倍。