作者：燕彩蓉 朱斌 王健 黃永鋒 刊期：2016年第01期

字符串相似性連接是數(shù)據(jù)質(zhì)量管理的基本操作,也是數(shù)據(jù)價值發(fā)現(xiàn)的關鍵步驟。針對目前已有的方法不能滿足面向大數(shù)據(jù)的增量式處理需求的問題,提出一種面向流式數(shù)據(jù)的增量式字符串相似性連接方法——IncJoin,并對方法的索引技術進行了優(yōu)化。該方法以Pass-Join字符串連接算法為基礎,首先,采用字符串劃分技術將字符串劃分成多個互不相交的子串;然后,...

作者：丁鑫哲 張兆功 李建中 譚龍 劉勇 刊期：2016年第01期

針對在大數(shù)據(jù)管理中,在壓縮的數(shù)據(jù)上無需解壓即可進行相關操作的問題,在數(shù)據(jù)服從正態(tài)分布的前提下,根據(jù)列數(shù)據(jù)存儲的特點,提出了一種新的面向列存儲的壓縮方法——CCA。首先,通過對列數(shù)據(jù)的長度進行歸類;然后,采用抽樣的方法獲得重復度較高的前綴;最后,使用字典編碼進行壓縮,提出了列索引（CI）和列實體（CR）作為數(shù)據(jù)壓縮結構來降低大數(shù)據(jù)存儲...

作者：張兵 孫輝 范旭 李翠平 陳紅 王雯 刊期：2016年第01期

針對在分析型聯(lián)機分析處理（OLAP）應用中頻繁出現(xiàn)的數(shù)據(jù)密集型操作符——分組聚集耗時較多的問題,提出Cache友好的分組聚集算法對該操作進行性能優(yōu)化。首先,為充分發(fā)揮列存儲在數(shù)據(jù)密集型計算方面的優(yōu)勢,采用基于開源的列存儲查詢執(zhí)行引擎Supersonic,并在此之上設計Cache友好的分組聚集算法;其次,為加速查詢的執(zhí)行,使用并行技術,將單線程的分組...

作者：伍晉博 宋杰 張莉 鮑玉斌 刊期：2016年第01期

針對大數(shù)據(jù)環(huán)境下完整性查詢時間代價消耗過高的問題,提出了一種采用近似完整性查詢方法的系統(tǒng)——Probery。Probery所采用的近似完整性查詢方法不同于傳統(tǒng)的近似查詢,其近似性主要體現(xiàn)為數(shù)據(jù)查全的可能性,是一種新型的數(shù)據(jù)查詢方法。Probery首先將存入系統(tǒng)的數(shù)據(jù)劃分為多個數(shù)據(jù)分段;然后,根據(jù)概率放置模型將各個數(shù)據(jù)分段的數(shù)據(jù)存儲在分布式文件...

作者：翁海星 宮學慶 朱燕超 胡華梁 刊期：2016年第01期

針對分布式存儲系統(tǒng)上使用非主鍵訪問數(shù)據(jù)帶來的性能問題,探討在分布式存儲系統(tǒng)上實現(xiàn)索引的相關關鍵技術。在充分分析分布式存儲特征的基礎上,提出了分布式索引設計和實現(xiàn)的關鍵點,并結合分布式存儲系統(tǒng)的特點及相關的索引技術,討論了索引的組織形式、索引的維護和數(shù)據(jù)一致性等問題;然后基于如上的分析,選擇在分布式數(shù)據(jù)庫系統(tǒng)OceanBase開源版...