基于Supersonic的并行分組聚集
摘要：針對在分析型聯機分析處理（OLAP）應用中頻繁出現的數據密集型操作符——分組聚集耗時較多的問題,提出Cache友好的分組聚集算法對該操作進行性能優化。首先,為充分發揮列存儲在數據密集型計算方面的優勢,采用基于開源的列存儲查詢執行引擎Supersonic,并在此之上設計Cache友好的分組聚集算法;其次,為加速查詢的執行,使用并行技術,將單線程的分組聚集算法改為多線程并行的分組聚集算法。基于Supersonic設計并實現4種并行分組聚集算法：無共享Hash表并行分組聚集（NSHPGA）算法、表鎖共享Hash表并行分組聚集（TLSHPGA）算法、桶鎖共享Hash表并行分組聚集（BLSHPGA）算法、節點鎖共享Hash表并行分組聚集（NLSHPGA）算法,且在不同的分組勢集、不同的線程數的情況下,針對上述4種算法做了多組實驗。通過對比3種不同粒度的共享Hash表并行分組聚集算法的加速比,得出NLSHPGA算法在加速比和并發度兩方面表現最好,部分查詢可達到10倍加速比;通過比較NSHPGA算法和NLSHPGA算法的加速比、Cache miss內存使用等情況,得出NLSHPGA算法在分組勢集大于8時,加速比超過NSHPGA算法,并且Cache miss更低,使用的內存更少。
注: 保護知識產權,如需閱讀全文請聯系計算機應用雜志社
相關推薦
更多
