面向操作特性的數(shù)據(jù)存儲模式及應(yīng)用研究.pdf

1、在業(yè)務(wù)需求不斷增加的情況下，任務(wù)和數(shù)據(jù)密集型網(wǎng)絡(luò)應(yīng)用系統(tǒng)面臨數(shù)據(jù)量迅速膨脹、數(shù)據(jù)形態(tài)不斷擴(kuò)張、用戶種類不斷增多的現(xiàn)狀。根據(jù)數(shù)據(jù)操作特性對數(shù)據(jù)進(jìn)行合理分割，并用合理的存儲模式進(jìn)行分布存儲，對優(yōu)化配置系統(tǒng)資源和提高系統(tǒng)運(yùn)行性能具有重要作用。
　　Hbase是基于Hadoop HDFS的無模式列存數(shù)據(jù)庫，以字節(jié)流形式存儲不同形態(tài)的數(shù)據(jù)，可以依托廉價的服務(wù)器大規(guī)模擴(kuò)展存儲，可以借助MapReduce實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的高效處理。本文分析了行鍵

2、、列族、后臺工作機(jī)制、負(fù)載分布等影響 Hbase整體性能的關(guān)鍵因素，通過研究任務(wù)和數(shù)據(jù)密集型網(wǎng)絡(luò)應(yīng)用系統(tǒng)中的數(shù)據(jù)操作特性，根據(jù)業(yè)務(wù)需求和功能要求制定數(shù)據(jù)分類分割策略。
　　本文以具體應(yīng)用系統(tǒng)為依托，通過分析系統(tǒng)中原有數(shù)據(jù)存儲模式隨著業(yè)務(wù)量的擴(kuò)展可能遇到的性能瓶頸問題，根據(jù)系統(tǒng)關(guān)鍵業(yè)務(wù)的數(shù)據(jù)操作特性，設(shè)計了以 Hbase為基礎(chǔ)的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)分布式數(shù)據(jù)存儲方案，通過對不同數(shù)據(jù)量下的基本性能的測試及使用 YCSB對Hbase