基于OCNoSQL項目查詢導入功能的設計與實現(xiàn).pdf

1、OCNoSQL系統(tǒng)(Orange& Cloud NoSQL System)是亞信聯(lián)創(chuàng)公司為移動、聯(lián)通、電信這三大運營商提供的對大數(shù)據(jù)進行存儲和查詢的數(shù)據(jù)處理系統(tǒng)。由于傳統(tǒng)的文件系統(tǒng)很難存儲海量數(shù)據(jù)并且返回查詢結果緩慢。OCNoSQL系統(tǒng)就是為了解決這些難題而產(chǎn)生的。OCNoSQL系統(tǒng)的底層平臺使用Hadoop+MapReduce+HBase，同時系統(tǒng)本身針對于具體的業(yè)務系統(tǒng)進行優(yōu)化，使得OCNoSQL系統(tǒng)在導入和查詢方面具有很高的性能。

2、就北京移動流量系統(tǒng)而言，使用25臺機器存儲3+1個月的流量數(shù)據(jù)，每小時的流量數(shù)據(jù)大約是一億條，約占存儲100GB，每個月的數(shù)據(jù)量是10TB左右，OCNoSQL系統(tǒng)在處理這樣的數(shù)據(jù)時，每小時數(shù)據(jù)導入的平均時間是14min，在月表中獲取查詢結果的時間是幾百毫秒。
　　本文主要研究OCNoSQL系統(tǒng)查詢和導入功能的實現(xiàn)，由于OCNoSQL系統(tǒng)的存儲是基于HBase，所以在實現(xiàn)OCNoSQL的查詢和導入功能之前必須首先研究HBase的相應

3、的功能。HBase的導入分為put和bulkload方式，其中put主要針對于小數(shù)據(jù)量，客戶端直接連接RegionServer，進行數(shù)據(jù)寫入。bulkload方式則是啟動MapReduce框架，批量的將數(shù)據(jù)裝載入庫。HBase的查詢分為get和scan，get是通過rowkey獲得某條具體的記錄，scan是HBase通用的查詢接口，通過指定scan的startRowkey和stopRowkey，完成范圍查詢，scan接口還可以增加fil

4、ter，實現(xiàn)條件查詢。
　　OCNoSQL的查詢和導入接口繼承HBase原生的接口并且進行優(yōu)化。主要從以下三個方面探討OCNoSQL的優(yōu)化策略:首先對于查詢接口，集成Redis，實現(xiàn)分布式緩存。由于Redis相當于內(nèi)存數(shù)據(jù)庫，從Redis中獲取數(shù)據(jù)的速度要遠高于讀磁盤，所以OCNoSQL系統(tǒng)將維表數(shù)據(jù)和分頁數(shù)據(jù)放在Redis中，這樣查詢過程中數(shù)據(jù)的轉義以及換頁操作只需要訪問內(nèi)存即可，不需要與HBase直接交互。其次對于導入接口，優(yōu)

5、化rowkey生成規(guī)則，實現(xiàn)rowkey可配置化。對于rowkey的生成原則，需要滿足既可以唯一的表示一條數(shù)據(jù)又可以具有最佳長度以節(jié)省存儲空間。所以優(yōu)化后的rowkey可以通過配置由三部分組成，既rowkey的MD5+rowkey+后綴，其中MD5前綴是為了避免單個RegionServer成為熱點，后綴是為了增加rowkey生成的字段使得rowkey可以唯一表示一條記錄。最后為OCNoSQL系統(tǒng)提供SQL支持。在OCNoSQL中集成ph