基于NoSQL存儲系統(tǒng)的研究與應(yīng)用.pdf

1、傳統(tǒng)關(guān)系數(shù)據(jù)庫具有良好的可擴展性、高可用性、高穩(wěn)定性，得到了廣泛使用。但關(guān)系數(shù)據(jù)庫畢竟是通用型的數(shù)據(jù)庫，存在靈活性不足，大數(shù)據(jù)量情況下響應(yīng)速度慢等問題，因而不能完全適用于大數(shù)據(jù)時代互聯(lián)網(wǎng)應(yīng)用的需求。鑒于此，研究人員研發(fā)了各種各樣數(shù)據(jù)庫技術(shù)彌補關(guān)系數(shù)據(jù)庫的不足。其中以NoSQL為代表的新型數(shù)據(jù)庫因數(shù)據(jù)模型靈活、響應(yīng)速度快，可擴展性強等優(yōu)點越來越受到人們的關(guān)注，但是現(xiàn)有很多系統(tǒng)是基于關(guān)系數(shù)據(jù)庫的，如何從現(xiàn)有關(guān)系數(shù)據(jù)庫系統(tǒng)中引入NoSQL數(shù)據(jù)

2、庫，讓關(guān)系數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫各自發(fā)揮其優(yōu)秀的性能仍是目前急需解決的問題。
　　本文依托于實際開發(fā)的項目——校園58分類信息平臺，在關(guān)系數(shù)據(jù)庫基礎(chǔ)上引入NoSQL數(shù)據(jù)庫，研究兩者在深度融合方面的關(guān)鍵技術(shù)，包括建立了以關(guān)系數(shù)據(jù)庫為主庫，以Redis為從庫的異構(gòu)讀寫分離方案、數(shù)據(jù)同步技術(shù)、客戶端分片集群均衡技術(shù)等。主要完成以下幾個方面的內(nèi)容。
　?、籴槍υ蠱ySQL系統(tǒng)單一存儲架構(gòu)，引入了Redis這種新型的NoSQL數(shù)據(jù)

3、庫，改進存儲系統(tǒng)的整體架構(gòu)方案，讓MySQL負(fù)責(zé)存儲所有數(shù)據(jù)，提供持久化支持，Redis數(shù)據(jù)庫負(fù)責(zé)緩存數(shù)據(jù)結(jié)構(gòu)簡單、讀取頻率高的數(shù)據(jù)。服務(wù)器接收到寫入請求時，直接往MySQL中寫入數(shù)據(jù)，并定時同步熱點數(shù)據(jù)到Redis中。服務(wù)器接收到讀操作請求時，首先在Redis中讀取數(shù)據(jù)，讀取失敗再從MySQL中讀取數(shù)據(jù)。從而實現(xiàn)了存儲系統(tǒng)讀寫分離，提高了大數(shù)據(jù)量高并發(fā)情況下系統(tǒng)訪問效率。
　?、诟鶕?jù)大數(shù)據(jù)量存儲遷移的需求，在分析、總結(jié)現(xiàn)有存儲結(jié)

4、構(gòu)和數(shù)據(jù)遷移技術(shù)的基礎(chǔ)上，設(shè)計了合適的數(shù)據(jù)存儲結(jié)構(gòu)，利用Redis管道機制對數(shù)據(jù)遷移方案進行改進;同時在大數(shù)據(jù)量情況下采用hash結(jié)構(gòu)、簡化鍵名的方式節(jié)約內(nèi)存;通過多線程合并操作減少網(wǎng)絡(luò)開銷，提高系統(tǒng)運行效率。
　?、垭S著用戶量越來越多，數(shù)據(jù)量越來越大，單臺數(shù)據(jù)庫服務(wù)器滿足不了日益增長數(shù)據(jù)量的需求，需要在系統(tǒng)中實現(xiàn)分布式數(shù)據(jù)庫集群。本文針對現(xiàn)有Redis分布式集群負(fù)載均衡技術(shù)存在的不足，提出了帶冗余數(shù)據(jù)的一致性hash算法，優(yōu)化了