基于Hadoop的人臉圖像識別并行處理方法研究與實現(xiàn).pdf

1、近年來，隨著網(wǎng)絡(luò)的發(fā)展，網(wǎng)絡(luò)圖像數(shù)據(jù)量劇增，怎樣高效地分析和處理這些海量圖像數(shù)據(jù)成為各領(lǐng)域的研究熱點。人臉圖像作為海量圖像數(shù)據(jù)中重要成分，它是各監(jiān)控和安保領(lǐng)域識別個體的重要依據(jù)。面對海量的人臉數(shù)據(jù)庫，怎樣高效地進行人臉識別，已成為各監(jiān)控和安保領(lǐng)域研究的關(guān)鍵性問題。因此針對海量人臉識別算法的效率研究，是一個具有理論研究意義和實際應(yīng)用價值的課題。
　　云計算是目前處理海量數(shù)據(jù)的前沿技術(shù)，其中以Hadoop云平臺為代表，廣泛應(yīng)用于各領(lǐng)域

2、海量大文件的處理，并已取得了較好成效，但對于海量的小文件處理（如人臉圖像識別）研究還不成熟。本文在海量人臉識別算法的效率研究過程中引入Hadoop技術(shù)，對云計算在海量小文件處理上表現(xiàn)的性能和優(yōu)勢進行分析，并提出優(yōu)化策略，有助于Hadoop技術(shù)的應(yīng)用領(lǐng)域推廣。本文的主要工作如下。
　　本文首先進行人臉特征提取方法的選取，在常用的Feret、ORL、Yale和AR四種人臉庫里進行基于典型特征方法的人臉識別性能測試，通過實驗選定出綜合表

3、現(xiàn)最好的局部定向模式為整個人臉識別過程的特征方法，為后續(xù)工作奠定基礎(chǔ)。其次，研究利用Hadoop并行化處理人臉數(shù)據(jù)方法，通過深入研究Hadoop框架，發(fā)現(xiàn)其不提供圖像處理的IO接口，而且在對海量小文件直接處理時，Hadoop表現(xiàn)出既耗時又耗內(nèi)存。針對這些問題，本文將Hadoop提供的組合分片技術(shù)引入到小文件處理過程，通過小文件在邏輯上組合成大文件的方式，解決了Hadoop讀取海量小文件時效率低下的問題，經(jīng)過并行化實驗驗證了該方案的可行性

4、和高效性。進一步研究發(fā)現(xiàn)該方法存在內(nèi)存消耗大的不足，本文通過引入SequenceFile方法，將海量小文件打包成大文件的形式存儲和供Hadoop處理，可以充分利用Hadoop處理大數(shù)據(jù)的優(yōu)勢，減少海量小文件給HDFS帶來的存儲壓力，經(jīng)過實驗表明該方案可使Hadoop輕松應(yīng)對海量小圖片。最后，本文基于Hadoop實現(xiàn)人臉識別并行化，實驗證明利用Hadoop可有效地提升了人臉識別整個流程的效率，為人臉識別的大規(guī)模應(yīng)用提供了一種可行的解決方案