支持GPU加速的分布式文件系統(tǒng)研究.pdf

1、伴隨著社會信息的增長和互聯(lián)網(wǎng)應(yīng)用的多樣性發(fā)展，各種形式的大規(guī)模數(shù)據(jù)逐漸贏得公眾的接受，大規(guī)模數(shù)據(jù)正在改變?nèi)藗兊纳?。面對如此大?guī)模的數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)存儲方式，管理、搜索、分析、安全性和其他處理方法已經(jīng)成為一個(gè)挑戰(zhàn)。HDFS作為一個(gè)分布式文件系統(tǒng)，能夠高效的解決數(shù)據(jù)存儲難題。HDFS在提供存儲服務(wù)的同時(shí)結(jié)合 MapReduce編程模型，對數(shù)據(jù)進(jìn)行分布式計(jì)算，具有易于編程、良好的擴(kuò)展性和高容錯(cuò)的特點(diǎn)。
　　GPU有著不同于CPU的結(jié)構(gòu)

2、，GPU的發(fā)展速度已經(jīng)超過CPU，在計(jì)算能力和存儲帶寬方面表現(xiàn)出明顯的優(yōu)勢。GPU已經(jīng)不僅僅應(yīng)用在圖形圖像處理方面，GPU在通用計(jì)算方面的發(fā)展已經(jīng)吸引了越來越多專家和學(xué)者的關(guān)注。本文提出一種支持GPU加速的分布式文件系統(tǒng)方法，可以提升對大規(guī)模數(shù)據(jù)進(jìn)行并行處理效率同時(shí)，還可以提升文件的存儲效率，對大數(shù)據(jù)的處理和分析具有重要的理論意義和現(xiàn)實(shí)意義。
　　本文的支持GPU加速的分布式文件系統(tǒng)研究，主要內(nèi)容包括：
　　1.對現(xiàn)有的分布

3、式文件系統(tǒng)HDFS進(jìn)行分析的基礎(chǔ)上對其在架構(gòu)、文件存儲和緩存方面進(jìn)行優(yōu)化改進(jìn)，使其更好的存儲GPU并行處理的數(shù)據(jù)，經(jīng)過實(shí)驗(yàn)驗(yàn)證該方法可以減少HDFS的負(fù)擔(dān)，提高存儲效率和讀寫密集型文件的性能。
　　2.研究了GPU編程模型和MapReduce編程模型的理論知識，并對現(xiàn)有GPU加速M(fèi)apReduce編程模型分析，提出一種GPU加速M(fèi)apReduce編程模型的方法，通過與Mars進(jìn)行對比分析，驗(yàn)證了其在大數(shù)據(jù)處理和分析方面的可行性。<