一種基于機器學習的Spark容器集群性能提升方法
摘要：目前基于Spark的應用十分廣泛,合理的參數配置會使Spark作業具備較高的執行效率,很多學者對虛擬機集群上的Spark參數調優進行了深入研究。近年來,容器作為一種新興的云計算基礎設施越來越廣泛地被應用于服務集群中,因而對基于容器集群的Spark參數調優進行研究也具有重要意義。文章研究了Docker容器集群中Spark的參數配置問題,提出了一種新型的參數調優方法(ContainerOpt),使用機器學習方法學習并預測作業在不同參數組合下的性能,同時引入節點自動伸縮機制,使輸入規模較大的作業可以獲得更優的性能。文章還提出了由時間和資源共同決定的性能表示模型,代替傳統的基于單一執行時間的性能表示模型,從而在作業執行時間和資源占用之間達到較好的平衡。實驗結果表明,相較于默認配置,該參數調優方法可提升50%的執行效率。
注: 保護知識產權,如需閱讀全文請聯系信息網絡安全雜志社
相關推薦
更多
