基于概率的大數據查詢系統——Probery
摘要：針對大數據環境下完整性查詢時間代價消耗過高的問題,提出了一種采用近似完整性查詢方法的系統——Probery。Probery所采用的近似完整性查詢方法不同于傳統的近似查詢,其近似性主要體現為數據查全的可能性,是一種新型的數據查詢方法。Probery首先將存入系統的數據劃分為多個數據分段;然后,根據概率放置模型將各個數據分段的數據存儲在分布式文件系統中;最后,對于給定的查詢條件,Probery采用一種啟發式查詢方法進行概率查詢。通過與其他主流的非關系型數據管理系統的查詢性能進行比較,對Probery進行驗證,Probery在損失8%查詢完整性的情形下,查詢時間較HBase相比節約了51%,較Cassandra相比節約了23%,較Mongo DB相比節約了12%,較Hive相比節約了3%。實驗結果表明,Probery可以適當地損失查詢完整性來提高數據的查詢性能,具有較好的通用性、適應性和可擴展性。
注: 保護知識產權,如需閱讀全文請聯系計算機應用雜志社
相關推薦
更多
