基于HDFS的存儲(chǔ)技術(shù)的研究.pdf

1、云存儲(chǔ)是在云計(jì)算模式的基礎(chǔ)上產(chǎn)生和發(fā)展起來(lái)的新概念。隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，數(shù)據(jù)量呈現(xiàn)爆炸式的增長(zhǎng)，無(wú)論是個(gè)人還是企業(yè)都面臨大量數(shù)據(jù)管理困難、數(shù)據(jù)存儲(chǔ)維護(hù)成本高、可靠性低等問(wèn)題。云存儲(chǔ)概念的出現(xiàn)較好的解決了這些問(wèn)題，它將網(wǎng)絡(luò)或計(jì)算機(jī)集群中大量的各種不同類型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)服務(wù)和業(yè)務(wù)訪問(wèn)能力。其中，在眾多的云計(jì)算平臺(tái)中，Apache軟件基金會(huì)根據(jù)谷歌的云計(jì)算設(shè)計(jì)思想開(kāi)源實(shí)現(xiàn)的Hadoop項(xiàng)目引起了

2、廣泛關(guān)注。其中的HDFS（Hadoop Distributed File System）是Hadoop的核心組件之一，研究云存儲(chǔ)技術(shù)，負(fù)責(zé)系統(tǒng)的數(shù)據(jù)存儲(chǔ)和管理、文件管理及出錯(cuò)處理等基礎(chǔ)工作。HDFS具有可靠性高、擴(kuò)展性強(qiáng)、成本低等優(yōu)勢(shì)，它的開(kāi)源性、高容錯(cuò)性及可以部署在廉價(jià)的硬件設(shè)備上的特點(diǎn)是其成為云存儲(chǔ)研究的熱點(diǎn)之一。
　　本論文以HDFS為原型研究云存儲(chǔ)技術(shù)，根據(jù)云存儲(chǔ)中數(shù)據(jù)存儲(chǔ)的特點(diǎn)及集群網(wǎng)絡(luò)中數(shù)據(jù)節(jié)點(diǎn)的異構(gòu)性等問(wèn)題討論HDF

3、S中的改進(jìn)機(jī)制。HDFS認(rèn)為集群中的節(jié)點(diǎn)故障是常態(tài)，并提供了故障節(jié)點(diǎn)的檢測(cè)機(jī)制，本論文在故障節(jié)點(diǎn)檢測(cè)機(jī)制的基礎(chǔ)上提出了建立信任模型的概念，對(duì)集群中數(shù)據(jù)節(jié)點(diǎn)的安全性和可靠性進(jìn)行評(píng)價(jià)，以便主節(jié)點(diǎn)完成對(duì)數(shù)據(jù)節(jié)點(diǎn)的篩選。另外，云存儲(chǔ)中數(shù)據(jù)的類型多種多樣，用途也不盡相同，不同的用戶可能對(duì)數(shù)據(jù)節(jié)點(diǎn)有著不同的性能要求。本論文提出了一種數(shù)據(jù)的分類模型，并制定了個(gè)各類型數(shù)據(jù)對(duì)節(jié)點(diǎn)性能的選擇標(biāo)準(zhǔn)。最后，HDFS假設(shè)集群中所有的節(jié)點(diǎn)是同構(gòu)的，即集群中所有的節(jié)