科學(xué)計算環(huán)境文件傳輸和共享服務(wù)
摘要:新的科研和工程活動正在以越來越快的速度產(chǎn)出海量并且多樣化的數(shù)據(jù),這些數(shù)據(jù)帶來巨大的計算需求并且迅速增長,數(shù)據(jù)傳輸時間占作業(yè)處理時間的比例越來越大。本文面向中國科學(xué)院科學(xué)計算環(huán)境,針對計算環(huán)境中幾百M(fèi)B到GB量級的數(shù)據(jù)文件傳輸耗時長、網(wǎng)絡(luò)不穩(wěn)定和數(shù)據(jù)共享等問題,設(shè)計和實(shí)現(xiàn)基于微服務(wù)架構(gòu)的文件傳輸和共享服務(wù),提供一組簡單易用的REST開發(fā)接口,包括文件傳輸、管理、共享、統(tǒng)計等服務(wù)。該服務(wù)的目標(biāo)是提升作業(yè)數(shù)據(jù)文件的傳輸效率和在線分享能力,為多學(xué)科領(lǐng)域的開發(fā)人員提供簡單易用的數(shù)據(jù)開發(fā)服務(wù),為用戶提供簡單靈活的數(shù)據(jù)傳輸和共享服務(wù)。理論分析和實(shí)驗(yàn)表明,該服務(wù)簡單易用并具備良好的可擴(kuò)展性,能夠根據(jù)負(fù)載變化而動態(tài)擴(kuò)展文件傳輸微服務(wù)。
注: 保護(hù)知識產(chǎn)權(quán),如需閱讀全文請聯(lián)系科研信息化技術(shù)與應(yīng)用雜志社