海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)技術(shù)日益發(fā)達(dá)，網(wǎng)絡(luò)上的數(shù)據(jù)量呈爆炸式增長(zhǎng)，海量數(shù)據(jù)的管理和維護(hù)，對(duì)企業(yè)和個(gè)人來(lái)說，都面臨著巨大的困難，不僅成本高昂，而且在海量數(shù)據(jù)存取的可靠性和可用性方面也都存在著巨大的問題。Google公司提出的GFS文件系統(tǒng)，最早給出了完整有效的海量數(shù)據(jù)存儲(chǔ)理論框架，并面向大型分布式數(shù)據(jù)密集型應(yīng)用，建立以大量異構(gòu)的存儲(chǔ)機(jī)器為基礎(chǔ)的集群，實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)和讀取的高性能服務(wù)，并提供良好的系統(tǒng)容錯(cuò)性。
　　本文是以Google的GFS文件系

2、統(tǒng)理論為基礎(chǔ)，結(jié)合海量數(shù)據(jù)存儲(chǔ)的特點(diǎn)以及存儲(chǔ)的高可靠性，并針對(duì)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)的異構(gòu)性，提出基于機(jī)器存儲(chǔ)性能和數(shù)據(jù)塊訪問次數(shù)等因素的負(fù)載計(jì)算模型，并給出了數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)選擇優(yōu)化策略、數(shù)據(jù)讀取節(jié)點(diǎn)選擇優(yōu)化策略以及負(fù)載均衡節(jié)點(diǎn)選擇優(yōu)化策略，同時(shí)將優(yōu)化策略和默認(rèn)策略進(jìn)行性能上的對(duì)比。
　　論文在詳細(xì)分析海量數(shù)據(jù)存儲(chǔ)理論、方法、技術(shù)的基礎(chǔ)上，對(duì)系統(tǒng)的整體結(jié)構(gòu)進(jìn)行設(shè)計(jì)，細(xì)分系統(tǒng)各個(gè)部分的功能，給出存儲(chǔ)系統(tǒng)的功能設(shè)計(jì)，并實(shí)現(xiàn)了包括數(shù)據(jù)存儲(chǔ)功能、集群