FastDFS分布式文件系統(tǒng)負(fù)載均衡算法的改進(jìn)研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展和信息化技術(shù)的不斷普及，單個(gè)的服務(wù)器存儲(chǔ)模式很難滿足企業(yè)或單位對(duì)數(shù)據(jù)的存儲(chǔ)和管理，分布式存儲(chǔ)的需求日益擴(kuò)大，分布式文件系統(tǒng)的應(yīng)用越來越廣泛，因此對(duì)存儲(chǔ)服務(wù)器提出了越來越高的要求。
　　本文以FastDFS分布式文件系統(tǒng)（Fast Distributed File System）作為研究對(duì)象，根據(jù)該文件系統(tǒng)的架構(gòu)和設(shè)計(jì)理念，指出其負(fù)載均衡策略中存在的負(fù)載傾斜問題，并分析其產(chǎn)生的原因，再結(jié)合經(jīng)典的靜態(tài)負(fù)載均衡和動(dòng)態(tài)

2、負(fù)載均衡的思想，提出了一種更適合FastDFS的負(fù)載均衡算法。該算法既能夠保證系統(tǒng)的負(fù)載分配能力，提高系統(tǒng)穩(wěn)定性，又能夠讓系統(tǒng)在線性擴(kuò)容時(shí)不出現(xiàn)負(fù)載失衡的情況，克服了原本存在的負(fù)載均衡問題。本文以改進(jìn)FastDFS負(fù)載均衡算法為創(chuàng)新點(diǎn)，完成如下工作：
　　首先，剖析了FastDFS分布式文件系統(tǒng)的架構(gòu)和輕量級(jí)、分組方式和對(duì)等結(jié)構(gòu)的設(shè)計(jì)理念，對(duì)數(shù)據(jù)的冗余備份和同步做了詳細(xì)的分析。指出了該系統(tǒng)中負(fù)載均衡策略在線性擴(kuò)容時(shí)可能導(dǎo)致負(fù)載傾斜

3、的現(xiàn)象，并深入分析其產(chǎn)生負(fù)載傾斜的關(guān)鍵因素。
　　其次，結(jié)合經(jīng)典的負(fù)載均衡的優(yōu)點(diǎn)和適用場(chǎng)景，提出了一種基于服務(wù)類型的動(dòng)態(tài)加權(quán)輪循負(fù)載均衡算法，并給出了算法描述和算法流程圖。該算法通過定期采集服務(wù)器負(fù)載狀態(tài)信息并計(jì)算出相應(yīng)的負(fù)載值，從中挑出負(fù)載值在一定范圍內(nèi)的服務(wù)器組，按照其剩余存儲(chǔ)空間大小為每個(gè)服務(wù)器計(jì)算權(quán)值，然后在該服務(wù)器組內(nèi)使用加權(quán)輪循算法進(jìn)行負(fù)載分配。該算法充分考慮了存儲(chǔ)服務(wù)器在工作中的真實(shí)負(fù)載及其剩余的存儲(chǔ)空間，使得服務(wù)器

4、可以用較小的開銷動(dòng)態(tài)獲取服務(wù)器負(fù)載信息，結(jié)合加權(quán)輪循算法的優(yōu)勢(shì)，實(shí)現(xiàn)動(dòng)靜結(jié)合的負(fù)載分配方式，從而讓每個(gè)服務(wù)器都能發(fā)揮出最大的性能。
　　最后，對(duì)改進(jìn)算法進(jìn)行了編程實(shí)現(xiàn)，在實(shí)現(xiàn)過程中對(duì)更新負(fù)載值時(shí)的查找算法做了優(yōu)化，給出了按照負(fù)載值大小分組管理的實(shí)現(xiàn)方式，并采用共享內(nèi)存的方式記錄服務(wù)器的實(shí)時(shí)負(fù)載。使用虛擬機(jī)集群來架設(shè)FastDFS集群，模擬一個(gè)小型的FastDFS分布式文件系統(tǒng)，對(duì)改進(jìn)算法進(jìn)行了相關(guān)實(shí)驗(yàn)，驗(yàn)證了改進(jìn)算法的正確性和優(yōu)越