基于數(shù)據(jù)熱點和分片性能差異的MongoDB自適應(yīng)負(fù)載均衡策略研究.pdf

1、近年來，接入到網(wǎng)絡(luò)中的設(shè)備呈指數(shù)級增長，互聯(lián)網(wǎng)由此產(chǎn)生了海量的數(shù)據(jù)。傳統(tǒng)的集中式存儲方案在存儲性能和可靠性等方面已經(jīng)滿足不了人們?nèi)找嬖鲩L的需求，大數(shù)據(jù)的存儲已經(jīng)成為了當(dāng)今時代的一項巨大挑戰(zhàn)。應(yīng)時勢需求，各種分布式數(shù)據(jù)庫便如雨后春筍般涌現(xiàn)出來。其中，目前使用最廣泛、性能最優(yōu)越的當(dāng)屬NoSQL數(shù)據(jù)庫。
　　MongoDB作為一種新興的NoSQL數(shù)據(jù)庫，以其水平擴展、面向文檔、模式靈活、故障自動轉(zhuǎn)移等優(yōu)良特點深受國內(nèi)外市場的歡迎。Mon

2、goDB支持自動分片，其內(nèi)部自帶的負(fù)載均衡策略能使各個節(jié)點達(dá)到基于數(shù)據(jù)量的平衡。但是在實際的生產(chǎn)環(huán)境中，在數(shù)據(jù)塊(Chunk)數(shù)量相當(dāng)?shù)那闆r下，節(jié)點間的性能差異和數(shù)據(jù)訪問熱度的不同會導(dǎo)致集群中某些節(jié)點處于超載的現(xiàn)象。
　　針對上述問題，本文做了以下工作來對MongoDB負(fù)載均衡策略進(jìn)行優(yōu)化，旨在提高系統(tǒng)的性能，保證用戶體驗的流暢性。本文的主要貢獻(xiàn)如下:
　　(1)根據(jù)其負(fù)載均衡策略的不足提出一種新的架構(gòu)。主要包含訪問控制模塊

3、、資源管理模塊、負(fù)載預(yù)測模塊和數(shù)據(jù)遷移模塊。訪問控制模塊就是用來控制客戶端對系統(tǒng)的訪問。資源管理模塊對系統(tǒng)的中各個分片的負(fù)載進(jìn)行初步預(yù)測，并以此來自適應(yīng)調(diào)整負(fù)載預(yù)測的周期。負(fù)載預(yù)測模塊對各個分片和Chunk塊的負(fù)載進(jìn)行預(yù)測。數(shù)據(jù)遷移模塊主要用來控制數(shù)據(jù)的遷移工作。
　　(2)在負(fù)載預(yù)測模塊中引入馬爾科夫(Markov)模型，并對其可行性進(jìn)行分析。通過對各個分片的數(shù)據(jù)操作構(gòu)建Markov鏈，求出一步轉(zhuǎn)移概率矩陣和各個操作的穩(wěn)態(tài)向量。

4、結(jié)合分片上的數(shù)據(jù)容量、服務(wù)器間的性能差異、數(shù)據(jù)操作的負(fù)載權(quán)重以及數(shù)據(jù)的訪問熱度對各個分片和Chunk塊上的負(fù)載進(jìn)行定量預(yù)測。以各個分片和各個Chunk塊上預(yù)測的負(fù)載為依據(jù)，選擇合適的源服務(wù)器、目標(biāo)服務(wù)器以及將要遷移的Chunk塊。在選擇之前，引入二叉排序樹對各個分片和Chunk塊的負(fù)載進(jìn)行排序。然后制定相應(yīng)的數(shù)據(jù)遷移策略來決定何時對選擇的Chunk塊進(jìn)行遷移以及何時達(dá)到負(fù)載均衡。
　　(3)搭建實驗平臺，首先通過實驗確定各個操作的