午夜亚洲国产日本电影一区二区三区,九九久久99综合一区二区,国产一级毛片视频,草莓视频在线观看精品最新

摘要：目前基于Spark的應(yīng)用十分廣泛,合理的參數(shù)配置會(huì)使Spark作業(yè)具備較高的執(zhí)行效率,很多學(xué)者對(duì)虛擬機(jī)集群上的Spark參數(shù)調(diào)優(yōu)進(jìn)行了深入研究。近年來(lái),容器作為一種新興的云計(jì)算基礎(chǔ)設(shè)施越來(lái)越廣泛地被應(yīng)用于服務(wù)集群中,因而對(duì)基于容器集群的Spark參數(shù)調(diào)優(yōu)進(jìn)行研究也具有重要意義。文章研究了Docker容器集群中Spark的參數(shù)配置問(wèn)題,提出了一種新型的參數(shù)調(diào)優(yōu)方法(ContainerOpt),使用機(jī)器學(xué)習(xí)方法學(xué)習(xí)并預(yù)測(cè)作業(yè)在不同參數(shù)組合下的性能,同時(shí)引入節(jié)點(diǎn)自動(dòng)伸縮機(jī)制,使輸入規(guī)模較大的作業(yè)可以獲得更優(yōu)的性能。文章還提出了由時(shí)間和資源共同決定的性能表示模型,代替?zhèn)鹘y(tǒng)的基于單一執(zhí)行時(shí)間的性能表示模型,從而在作業(yè)執(zhí)行時(shí)間和資源占用之間達(dá)到較好的平衡。實(shí)驗(yàn)結(jié)果表明,相較于默認(rèn)配置,該參數(shù)調(diào)優(yōu)方法可提升50%的執(zhí)行效率。

注: 保護(hù)知識(shí)產(chǎn)權(quán),如需閱讀全文請(qǐng)聯(lián)系信息網(wǎng)絡(luò)安全雜志社