午夜亚洲国产日本电影一区二区三区,九九久久99综合一区二区,国产一级毛片视频,草莓视频在线观看精品最新

摘要：目前基于Spark的應(yīng)用十分廣泛,合理的參數(shù)配置會使Spark作業(yè)具備較高的執(zhí)行效率,很多學(xué)者對虛擬機集群上的Spark參數(shù)調(diào)優(yōu)進行了深入研究。近年來,容器作為一種新興的云計算基礎(chǔ)設(shè)施越來越廣泛地被應(yīng)用于服務(wù)集群中,因而對基于容器集群的Spark參數(shù)調(diào)優(yōu)進行研究也具有重要意義。文章研究了Docker容器集群中Spark的參數(shù)配置問題,提出了一種新型的參數(shù)調(diào)優(yōu)方法(ContainerOpt),使用機器學(xué)習(xí)方法學(xué)習(xí)并預(yù)測作業(yè)在不同參數(shù)組合下的性能,同時引入節(jié)點自動伸縮機制,使輸入規(guī)模較大的作業(yè)可以獲得更優(yōu)的性能。文章還提出了由時間和資源共同決定的性能表示模型,代替?zhèn)鹘y(tǒng)的基于單一執(zhí)行時間的性能表示模型,從而在作業(yè)執(zhí)行時間和資源占用之間達到較好的平衡。實驗結(jié)果表明,相較于默認(rèn)配置,該參數(shù)調(diào)優(yōu)方法可提升50%的執(zhí)行效率。

注: 保護知識產(chǎn)權(quán),如需閱讀全文請聯(lián)系信息網(wǎng)絡(luò)安全雜志社