基于最終一致性的HDFS讀寫技術(shù)的研究與優(yōu)化.pdf

1、隨著信息技術(shù)的快速發(fā)展，云計(jì)算、大數(shù)據(jù)等熱門行業(yè)崛起，傳統(tǒng)的單機(jī)作業(yè)不再能滿足用戶日益增長(zhǎng)的需求。越來(lái)越多的個(gè)人以及企業(yè)都將平臺(tái)重心從單機(jī)轉(zhuǎn)移至分布式平臺(tái)。Hadoop以其高可靠、高擴(kuò)展、高性能、高容錯(cuò)、低成本的特性成為當(dāng)下炙手可熱的分布式系統(tǒng)基礎(chǔ)架構(gòu)，被越來(lái)越多的用戶及開(kāi)發(fā)者接受，廣泛運(yùn)用于不同的生產(chǎn)環(huán)境。HDFS作為Hadoop的底層存儲(chǔ)實(shí)現(xiàn)不僅高效地服務(wù)于Hadoop，還被用于其他分布式系統(tǒng)基礎(chǔ)架構(gòu)例如Spark等。
　　H

2、DFS全名為Hadoop Distributed File System，是Hadoop項(xiàng)目的一個(gè)子項(xiàng)目，它被設(shè)計(jì)為運(yùn)行在通用硬件上的分布式文件系統(tǒng)。它與現(xiàn)有的分布式文件系統(tǒng)有很多相似之處，同樣的，不同之處也十分明顯。HDFS具有高容錯(cuò)性，可以被廣泛運(yùn)用于廉價(jià)的，淘汰的硬件。HDFS可以提供對(duì)應(yīng)用高吞吐的訪問(wèn)，尤其適用于擁有大數(shù)據(jù)集的應(yīng)用。然而隨著HDFS被用于更多的生產(chǎn)環(huán)境，新的需求被逐漸提出，希望HDFS支持低延遲高性能的特性，以便

3、用戶可以盡快對(duì)寫入HDFS的文件進(jìn)行讀取與分析。
　　為了實(shí)現(xiàn)低延遲高性能的分布式文件系統(tǒng)，本文首先研究了 HDFS的現(xiàn)有讀寫方法，結(jié)合國(guó)內(nèi)外對(duì)讀寫技術(shù)優(yōu)化方案的研究現(xiàn)狀分析了各自的優(yōu)缺點(diǎn)，并提出了可以有用方案。此方案根據(jù)HDFS在寫入數(shù)據(jù)時(shí)數(shù)據(jù)節(jié)點(diǎn)必須依次寫入的特性，結(jié)合最終一致性理論，實(shí)現(xiàn)了分布式文件系統(tǒng)低延遲高性能的特性。該方案首先打破了HDFS在寫入操作階段強(qiáng)一致性的要求，使用最終一致性理論，使得用戶可以在文件系統(tǒng)尚未完全