基于關(guān)系數(shù)據(jù)庫與NoSQL相結(jié)合的微博數(shù)據(jù)存儲研究.pdf

1、在這個數(shù)據(jù)大爆炸的時代，電子商務(wù)、社交網(wǎng)站、音頻視頻網(wǎng)站等每天都會產(chǎn)生TB級的數(shù)據(jù)量。如今，微博也毫無懸念的躋身其中，面臨著海量數(shù)據(jù)存儲問題。國內(nèi)許多的諸如新浪微博、騰訊微博等網(wǎng)站，因為最初使用關(guān)系數(shù)據(jù)庫存儲數(shù)據(jù)，導(dǎo)致他們?nèi)缃衩媾R著兩大難題。一是無法通過簡單地新增存儲設(shè)備來實現(xiàn)擴展，海量數(shù)據(jù)存儲困難；二是當(dāng)用戶訪問量過大時，即使1％的緩存訪問不命中所造成的數(shù)據(jù)庫查詢?nèi)匀恍实拖拢踔翢o法支撐。而國外如Facebook、Twitter等網(wǎng)

2、站，其采用非關(guān)系型數(shù)據(jù)庫（NoSQL）進行數(shù)據(jù)存儲，在處理海量數(shù)據(jù)方面，可以通過新增存儲設(shè)備、提高數(shù)據(jù)存取效率等方式應(yīng)對，但NoSQL在面對那些要求高安全性、強事務(wù)性的業(yè)務(wù)時就顯得很乏力。因此，如何解決微博海量數(shù)據(jù)存儲、提高訪問效率，還能適應(yīng)部分業(yè)務(wù)的強事務(wù)性要求，就成為一個重要的研究方向。然而國內(nèi)外學(xué)者在這方面的研究工作一直都進展緩慢，雖有一定成果，但大都停留在概念或模型地提出而全無具體策略，無法投入實際應(yīng)用。
　　針對上述情況

3、，本文以微博自身業(yè)務(wù)為基礎(chǔ)，充分利用關(guān)系數(shù)據(jù)庫與NoSQL各自的優(yōu)勢，創(chuàng)造性地提出微博數(shù)據(jù)分庫存儲，即用戶相關(guān)信息使用關(guān)系數(shù)據(jù)庫（MySQL）存儲，微博相關(guān)信息使用NoSQL（Cassandra）存儲；與此同時，設(shè)計了關(guān)系數(shù)據(jù)庫與NoSQL相結(jié)合的數(shù)據(jù)存儲架構(gòu)，并在其服務(wù)層實現(xiàn)了詳細的存儲策略和訪問策略。最后通過在微博數(shù)據(jù)集上進行的大量實驗，驗證了本文架構(gòu)及策略的可行性，并進行了性能比較。本文所提出的架構(gòu)及策略的主要貢獻如下：
　

4、?、僭诮鉀Q微博海量數(shù)據(jù)存儲問題的同時保證了高安全性和強事務(wù)性（部分業(yè)務(wù)）。用NoSQL存儲海量的微博數(shù)據(jù)，而要求高安全性與強事務(wù)性的用戶信息則使用關(guān)系數(shù)據(jù)庫存儲。
　?、趯崿F(xiàn)了高負載情況下用戶請求的高效率訪問。當(dāng)本文架構(gòu)投入運行一定時間后，絕大部分的數(shù)據(jù)庫查詢都將訪問Cassandra數(shù)據(jù)庫，在高負載情況下，Cassandra并行計算的能力更強，因此，相對于MySQL具有更高的查詢效率。
　?、弁ㄟ^大量實驗以及結(jié)果分析，詳細