基于數(shù)據(jù)通道的非結(jié)構(gòu)化數(shù)據(jù)多存儲(chǔ)系統(tǒng).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，互聯(lián)網(wǎng)上的數(shù)據(jù)類型日益多樣，應(yīng)用的種類也日趨復(fù)雜。單一種類的傳統(tǒng)關(guān)系型數(shù)據(jù)庫或者NoSQL數(shù)據(jù)庫已經(jīng)無法滿足數(shù)據(jù)的各類存儲(chǔ)處理需求。而在為了應(yīng)對復(fù)雜數(shù)據(jù)應(yīng)用而誕生的多存儲(chǔ)系統(tǒng)中，如何在多個(gè)存儲(chǔ)組件之間進(jìn)行數(shù)據(jù)同步就成為了影響多存儲(chǔ)系統(tǒng)可用性和擴(kuò)展性的關(guān)鍵問題。傳統(tǒng)的定時(shí)數(shù)據(jù)遷移與客戶端多路寫或是會(huì)引入新的一致性問題或是無法滿足可擴(kuò)展的需求，這使得非結(jié)構(gòu)化數(shù)據(jù)多存儲(chǔ)系統(tǒng)的發(fā)展受到了限制。
　　基于以上問題，

2、本文提出了一種基于數(shù)據(jù)通道的非結(jié)構(gòu)化數(shù)據(jù)多存儲(chǔ)系統(tǒng)，主要研究內(nèi)容包括以下幾個(gè)方面:
　　第一，針對傳統(tǒng)數(shù)據(jù)同步方式中存在的問題設(shè)計(jì)了用于解決非結(jié)構(gòu)化數(shù)據(jù)多存儲(chǔ)系統(tǒng)中數(shù)據(jù)同步問題的數(shù)據(jù)通道。數(shù)據(jù)通道采用Coprocessor索引信息記錄與WAL日志文件分析兩種方式捕獲主數(shù)據(jù)庫HBase中的數(shù)據(jù)變更事件，經(jīng)序列化器序列化后復(fù)制并保存在變更分發(fā)集群之中。其他存儲(chǔ)組件通過對變更分發(fā)集群中中繼進(jìn)程發(fā)起的查詢請求獲取變更事件，以快照加增量的形

3、式同步主數(shù)據(jù)庫中的數(shù)據(jù)。
　　第二，以數(shù)據(jù)通道為數(shù)據(jù)同步手段構(gòu)建非結(jié)構(gòu)化數(shù)據(jù)多存儲(chǔ)系統(tǒng)。圍繞數(shù)據(jù)通道與存儲(chǔ)組件之間的交互，本文描述了數(shù)據(jù)通道在多存儲(chǔ)系統(tǒng)中的作用以及完成的工作。并以一個(gè)實(shí)際的互聯(lián)網(wǎng)應(yīng)用為例，表述數(shù)據(jù)通道用于解決多存儲(chǔ)系統(tǒng)中數(shù)據(jù)同步與遷移的便利性與可行性，證明了數(shù)據(jù)通道的實(shí)用性。
　　第三，從可用性、可擴(kuò)展性等角度對數(shù)據(jù)通道進(jìn)行實(shí)驗(yàn)，測試其在多種情況下的性能與表現(xiàn)，并將其與傳統(tǒng)的直接數(shù)據(jù)讀取與客戶端多路寫等數(shù)據(jù)