MongoDB中的海量數據動態(tài)平衡.pdf

1、在云計算的技術架構中，數據存儲層是基礎。當前，云平臺中存儲了大量的結構化和非結構化數據，這些數據具有高并發(fā)性、數據量大、數據之間聯(lián)系弱等特點。相比關系型數據庫，非關系型數據庫由于其強大的適應能力得到了廣泛地應用。然而由于非關系型數據庫發(fā)展時間尚短，在負載均衡技術方面的發(fā)展還不夠成熟，因此，針對提高資源利用率的需求設計有效的非關系型數據庫的負載均衡策略具有重要意義。目前大部分數據庫的負載均衡技術都是基于數據量實現的，這是因為數據庫的職責一

2、直被界定為數據存儲，一般認為訪問負載的監(jiān)控應該由應用層實現。然而，隨著web2.0的發(fā)展，數據訪問量的差異被凸顯，熱點數據分布的均衡特性難以保證，而訪問負載過重會導致系統(tǒng)性能下降，訪問負載過輕會造成存儲系統(tǒng)資源浪費。因此，傳統(tǒng)的基于數據量的負載均衡策略難以滿足現狀。本文旨在研究云平臺下非關系型數據庫的負載均衡問題，并有針對性地優(yōu)化MongoDB的負載均衡架構，以提高存儲資源的使用率和存儲系統(tǒng)的性能。
　　本研究首先分析了Mongo

3、DB現有的負載均衡架構的局限性。通過分析目前MongoDB的負載均衡框架，發(fā)現其主要存在三個方面需要優(yōu)化。第一，其是基于數據量的負載均衡策略，這與現實中多數情況下相同數據量的數據負載不相當的現狀不符。第二，其沒有充分利用副本集和分布式文件系統(tǒng)的特點，事實上副本集除可用來災后修復外也可用來分擔負載，從而以較小的代價平衡系統(tǒng)中的負載。第三，其只有通過自動分片的擴容操作，并沒有相應的減少容量的相關操作，另外，在進行平衡負載操作時，其主要策略是

4、進行數據遷移，但是對于遷移數據的選擇不具有針對性且遷移數據時資源消耗較大。接著提出了優(yōu)化的MongoDB負載均衡架構和算法。根據目前MongoDB在負載均衡方面的不足，結合分布式文件系統(tǒng)的特點，提出了優(yōu)化的負載均衡策略和算法。該策略在原有的架構之上引入負載監(jiān)控器，并改造原有的負載均衡器平衡負載的工作流程和主副本切換機制，以“預防為主，最低消耗處理”的思想實現了基于訪問負載的動態(tài)負載平衡，并大大減少了資源的消耗。最后設計并進行試驗以證明此

5、優(yōu)化框架的可行性。在大規(guī)模分布式系統(tǒng)中，快速的響應和高可靠性是終端用戶和應用程序追求的兩個重要的性能指標，這些性能很大程度上由資源管理策略以及系統(tǒng)中各節(jié)點的負載狀況來決定。因為負載量的均勻分配能夠幫助優(yōu)化資源利用、最大化吞吐量和消除潛在負載過重的威脅。負載均衡策略優(yōu)劣的判斷有兩個重要的標準，分別為遷移代價和對存儲系統(tǒng)性能的影響。本文提出的優(yōu)化的MongoDB的負載均衡策略能夠以更小的代價和更低的影響性實現系統(tǒng)的再次平衡，從而提高存儲資源