分布式計(jì)算引擎的集群管理及負(fù)載均衡策略研究.pdf

1、當(dāng)今，隨著信息化步伐的加速，網(wǎng)絡(luò)數(shù)據(jù)量爆發(fā)式增長，如何高效處理海量數(shù)據(jù)業(yè)務(wù)成為一個研究熱點(diǎn)。分布式計(jì)算的思想以及相關(guān)研究成果給出了一個比較明確的研究方向。
　　本文通過對分布式計(jì)算技術(shù)的分析研究，結(jié)合當(dāng)前一些分布式計(jì)算相關(guān)產(chǎn)品的設(shè)計(jì)思想和實(shí)際項(xiàng)目需求，為電信領(lǐng)域的海量數(shù)據(jù)處理設(shè)計(jì)出一套全新的解決方案，實(shí)現(xiàn)了一個分布式計(jì)算引擎DVCP(Distributed Virtual Computing Platform)，即分布式虛擬化計(jì)算

2、平臺。利用分布式計(jì)算技術(shù)將復(fù)雜的數(shù)據(jù)業(yè)務(wù)進(jìn)行分割、分散到多臺服務(wù)器中，在較低廉的系統(tǒng)資源部署情況下完成大量數(shù)據(jù)業(yè)務(wù)的處理。
　　論文的主要研究工作包括以下幾點(diǎn)：
　　1、DVCP系統(tǒng)設(shè)計(jì)，利用分布式計(jì)算思想，將復(fù)雜的任務(wù)分割成多個較為簡單且清晰的步驟，由各服務(wù)器分別完成。實(shí)現(xiàn)系統(tǒng)的基本數(shù)據(jù)業(yè)務(wù)功能，包括原始數(shù)據(jù)采集、數(shù)據(jù)匯總、數(shù)據(jù)查詢、數(shù)據(jù)備份。同時，對系統(tǒng)任務(wù)控制調(diào)度中心服務(wù)器Master的模塊設(shè)計(jì)進(jìn)行了詳細(xì)分析。

3、　　2、為實(shí)現(xiàn)系統(tǒng)高可靠性和可擴(kuò)展性，設(shè)計(jì)并實(shí)現(xiàn)了一整套系統(tǒng)集群管理技術(shù)，包括集群節(jié)點(diǎn)狀態(tài)的統(tǒng)一管理、各節(jié)點(diǎn)的故障恢復(fù)以及雙機(jī)熱備。為實(shí)現(xiàn)系統(tǒng)各功能，還專門設(shè)計(jì)了一套高效、可靠的網(wǎng)絡(luò)通信機(jī)制。
　　3、實(shí)現(xiàn)了DVCP系統(tǒng)所特有的負(fù)載均衡機(jī)制。各計(jì)算節(jié)點(diǎn)主動申請任務(wù)并實(shí)現(xiàn)自身的負(fù)載均衡，中心控制節(jié)點(diǎn)Master只負(fù)責(zé)負(fù)載數(shù)據(jù)收發(fā)與計(jì)算，不做負(fù)載均衡決策。不但很好地實(shí)現(xiàn)了項(xiàng)目對負(fù)載均衡的需求，而且降低了系統(tǒng)實(shí)現(xiàn)復(fù)雜度以及Master的