一種基于兩級DAG模型的MapReduce工作流異構調度算法
摘要：MapReduce編程模型被廣泛應用于大數據處理平臺,而一個有效的任務調度算法對模型的運行效率至關重要。將MapReduce工作流的Map和Reduce階段分別拆解為若干個有先后序限定關系的作業,每個作業再拆解為多個任務。之后基于計算集群的可用資源和任務異構性,構建面向作業和任務的2級有向無環圖(DAG)模型,同時提出基于2級優先級排序的異構調度算法2-MRHS。算法的第1階段進行優先級排序,即對作業和任務分別進行優先權值計算,再匯總得到任務的調度隊列;第2階段進行任務分配,即基于最快完成時間將每個任務所包含的數據塊子任務分配給最適合的計算結點。采用大批量隨機生成的DAG模型進行實驗,結果表明與其他相關算法相比,本文算法有更短的調度長度(makespan)且更加穩定。
注: 保護知識產權,如需閱讀全文請聯系計算機工程與科學雜志社
相關推薦
更多
