作者：燕彩蓉 朱斌 王健 黃永鋒 刊期：2016年第01期

字符串相似性連接是數(shù)據(jù)質(zhì)量管理的基本操作,也是數(shù)據(jù)價(jià)值發(fā)現(xiàn)的關(guān)鍵步驟。針對(duì)目前已有的方法不能滿足面向大數(shù)據(jù)的增量式處理需求的問題,提出一種面向流式數(shù)據(jù)的增量式字符串相似性連接方法——IncJoin,并對(duì)方法的索引技術(shù)進(jìn)行了優(yōu)化。該方法以Pass-Join字符串連接算法為基礎(chǔ),首先,采用字符串劃分技術(shù)將字符串劃分成多個(gè)互不相交的子串;然后,...

作者：丁鑫哲 張兆功 李建中 譚龍 劉勇 刊期：2016年第01期

針對(duì)在大數(shù)據(jù)管理中,在壓縮的數(shù)據(jù)上無需解壓即可進(jìn)行相關(guān)操作的問題,在數(shù)據(jù)服從正態(tài)分布的前提下,根據(jù)列數(shù)據(jù)存儲(chǔ)的特點(diǎn),提出了一種新的面向列存儲(chǔ)的壓縮方法——CCA。首先,通過對(duì)列數(shù)據(jù)的長(zhǎng)度進(jìn)行歸類;然后,采用抽樣的方法獲得重復(fù)度較高的前綴;最后,使用字典編碼進(jìn)行壓縮,提出了列索引（CI）和列實(shí)體（CR）作為數(shù)據(jù)壓縮結(jié)構(gòu)來降低大數(shù)據(jù)存儲(chǔ)...

作者：張兵 孫輝 范旭 李翠平 陳紅 王雯 刊期：2016年第01期

針對(duì)在分析型聯(lián)機(jī)分析處理（OLAP）應(yīng)用中頻繁出現(xiàn)的數(shù)據(jù)密集型操作符——分組聚集耗時(shí)較多的問題,提出Cache友好的分組聚集算法對(duì)該操作進(jìn)行性能優(yōu)化。首先,為充分發(fā)揮列存儲(chǔ)在數(shù)據(jù)密集型計(jì)算方面的優(yōu)勢(shì),采用基于開源的列存儲(chǔ)查詢執(zhí)行引擎Supersonic,并在此之上設(shè)計(jì)Cache友好的分組聚集算法;其次,為加速查詢的執(zhí)行,使用并行技術(shù),將單線程的分組...

作者：伍晉博 宋杰 張莉 鮑玉斌 刊期：2016年第01期

針對(duì)大數(shù)據(jù)環(huán)境下完整性查詢時(shí)間代價(jià)消耗過高的問題,提出了一種采用近似完整性查詢方法的系統(tǒng)——Probery。Probery所采用的近似完整性查詢方法不同于傳統(tǒng)的近似查詢,其近似性主要體現(xiàn)為數(shù)據(jù)查全的可能性,是一種新型的數(shù)據(jù)查詢方法。Probery首先將存入系統(tǒng)的數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)分段;然后,根據(jù)概率放置模型將各個(gè)數(shù)據(jù)分段的數(shù)據(jù)存儲(chǔ)在分布式文件...

作者：翁海星 宮學(xué)慶 朱燕超 胡華梁 刊期：2016年第01期

針對(duì)分布式存儲(chǔ)系統(tǒng)上使用非主鍵訪問數(shù)據(jù)帶來的性能問題,探討在分布式存儲(chǔ)系統(tǒng)上實(shí)現(xiàn)索引的相關(guān)關(guān)鍵技術(shù)。在充分分析分布式存儲(chǔ)特征的基礎(chǔ)上,提出了分布式索引設(shè)計(jì)和實(shí)現(xiàn)的關(guān)鍵點(diǎn),并結(jié)合分布式存儲(chǔ)系統(tǒng)的特點(diǎn)及相關(guān)的索引技術(shù),討論了索引的組織形式、索引的維護(hù)和數(shù)據(jù)一致性等問題;然后基于如上的分析,選擇在分布式數(shù)據(jù)庫(kù)系統(tǒng)OceanBase開源版...