云計(jì)算環(huán)境下海量小文件處理方法研究.pdf

1、Hadoop是近幾年發(fā)展比較成熟的云計(jì)算平臺(tái)之一，作為一種開源軟件框架，它憑借其可靠性、可擴(kuò)展性和分布式的計(jì)算和存儲(chǔ)而迅速發(fā)展，為眾多企業(yè)和研究研究者所認(rèn)可。Hadoop主要由底層分布式文件系統(tǒng)HDFS和上層并行編程模型MapReduce引擎構(gòu)成,其中HDFS以其優(yōu)異性能至今仍被廣泛應(yīng)用。
　　HDFS采用主從架構(gòu)模式，由單一NameNode和多個(gè)DataNode組成，其主要針對(duì)流式數(shù)據(jù)訪問模式而設(shè)計(jì)，但對(duì)海量小文件(指比HDFS

2、默認(rèn)文件塊(64MB)小很多的文件）處理性能不佳，而現(xiàn)實(shí)應(yīng)用中卻存在HDFS存儲(chǔ)海量小文件的需求。目前針對(duì)HDFS小文件問題，主要對(duì)策是對(duì)文件進(jìn)行合并，在進(jìn)行文件合并時(shí)，對(duì)于小文件并沒有明確的定義，然而文件分界點(diǎn)問題直接關(guān)系到HDFS文件存儲(chǔ)策略、文件合并策略的研究，對(duì)HDFS海量小文件的存儲(chǔ)有著至關(guān)重要的意義。
　　針對(duì)HDFS(Hadoop Distributed File System)中小文件處理性能不佳的問題，本文研究H

3、DFS設(shè)計(jì)架構(gòu)及其對(duì)應(yīng)的存儲(chǔ)機(jī)制，分析HDFS文件操作相關(guān)過程，以及HDFS在進(jìn)行文件操作時(shí)采用的一些量化標(biāo)準(zhǔn)，從中分析出導(dǎo)致HDFS在處理小文件時(shí)性能不佳的根本原因。本文主要工作如下:
　　(1)分析HDFS小文件問題產(chǎn)生原因，分析小文件問題研究現(xiàn)狀，將研究現(xiàn)狀分為Hadoop自帶解決方案、通用問題解決方案、特定問題解決方案三個(gè)角度進(jìn)行論述，分析其各自的原理、研究進(jìn)展，最后對(duì)其進(jìn)行對(duì)比，分析現(xiàn)有HDFS小文件問題解決方案存在的不

4、足之處。
　　(2)針對(duì)目前小文件定義不精確問題，創(chuàng)新性提出一種云存儲(chǔ)系統(tǒng)中文件分界點(diǎn)確定方法Cut-GAR方法，Cut-GAR利用灰度關(guān)聯(lián)分析，將文件大小作為評(píng)價(jià)對(duì)象，NameNode內(nèi)存消耗、文件上傳速度、文件下載速度作為評(píng)價(jià)指標(biāo)。首先，通過分別測(cè)試NameNode內(nèi)存消耗、文件上傳速度、文件下載速度與文件大小關(guān)系，分別得出一個(gè)文件分界點(diǎn);其次，借助灰色關(guān)聯(lián)分析，得出三個(gè)評(píng)價(jià)指標(biāo)所占權(quán)重以及灰色關(guān)聯(lián)度;最后，將三個(gè)評(píng)價(jià)指標(biāo)所得