研究

文摘

隨著組織開始使用數據密集型使用Hadoop集群計算係統和森林女神更多應用,越來越多的用戶之間需要共享集群。然而,有一個公平之間的衝突在調度和數據局部性(把任務節點包含輸入數據)。我們說明這個問題通過我們的設計經驗600 -公平調度器節點在Facebook Hadoop集群。地址位置和公平之間的衝突,我們提出一個簡單的算法稱為延遲調度:當的工作應該安排下根據公平不能啟動一個本地任務,它等待一個小時間,讓其他工作啟動任務。我們發現延遲調度達到近最優數據本地化各種工作負載和可以提高吞吐量2 x在保持公平。此外,延遲調度的簡單性使得它適用在各種調度策略之外的公平分享。