延遲計劃：一種簡單的技術，用於在集群計劃中實現當地和公平性

抽象的

隨著組織開始使用Hadoop和Dryad等數據密集型集群計算係統來進行更多應用，因此在用戶之間共享群集的需求越來越大。但是，調度區域的公平性與數據局部性之間存在衝突（將任務放在包含其輸入數據的節點上）。我們通過在Facebook上為600個節點的Hadoop群集設計公平的調度程序的經驗來說明這個問題。為了解決當地與公平性之間的衝突，我們提出了一種簡單的算法，稱為延遲計劃：當應根據公平性下一步安排的作業無法啟動本地任務時，它會等待少量時間，讓其他作業啟動任務啟動任務。我們發現，延遲計劃在各種工作負載中幾乎達到了最佳的數據局部性，並且可以在保持公平性的同時將吞吐量提高到2倍。此外，延遲計劃的簡單性使其適用於公平共享的各種計劃策略。