基于海量高維圖像的大數(shù)據(jù)處理框架.pdf

1、目前國內(nèi)外在數(shù)字圖像處理方面的研究已經(jīng)非常完善,在許多應(yīng)用領(lǐng)域都受到了廣泛的應(yīng)用。同時隨著云計算概念的普及,大數(shù)據(jù)處理也開始為人所重視,一些大公司也開始了這方面的研究,通過對海量的數(shù)據(jù)進(jìn)行收集、分析、整理,是其中的主要任務(wù),更具體的方面是使用一些大數(shù)據(jù)的平臺,比如Hadoop,在平臺的基礎(chǔ)上進(jìn)行開發(fā),最終的目的是開發(fā)出適用于大數(shù)據(jù)的應(yīng)用。但是利用大數(shù)據(jù)來進(jìn)行數(shù)字圖像處理還尚在探索階段,本文擬設(shè)計實現(xiàn)一個以Hadoop Map-Reduc

2、e開源平臺為基礎(chǔ),為海量高維圖像數(shù)據(jù)進(jìn)行處理的大數(shù)據(jù)處理框架,與此同時還此架構(gòu)基礎(chǔ)上將一些傳統(tǒng)的單機(jī)圖像處理算法進(jìn)行并行實現(xiàn),為其他的復(fù)雜算法奠定基礎(chǔ)。本研究將彌補(bǔ)傳統(tǒng)算法在處理海量高維圖像時的一些缺陷,比如處理時間過長;存儲調(diào)度效率低等,同時提高了性能表現(xiàn)。
　　本課題在對傳統(tǒng)單機(jī)圖像處理和分布式圖像處理分析的基礎(chǔ)上,重點研究了如何在面對海量高維圖像大數(shù)據(jù)時,能夠在以不犧牲處理效果的基礎(chǔ)上顯著提高圖像處理的時間性能。具體工作包括

3、以下幾個方面:
　　1.詳細(xì)描述并分析了傳統(tǒng)單機(jī)圖像處理與使用分布式方式進(jìn)行圖像處理在面對海量高維圖像時的種種不足,包括單機(jī)處理在時間性能上的巨大劣勢,數(shù)據(jù)存儲上的不足以及現(xiàn)階段在使用分布式方式處理像圖像這樣的小文件上的不適應(yīng)。通過這些分析,找到本課題的切入點,進(jìn)而得到框架在設(shè)計上的需求。
　　2.針對海量高維圖像的特性,設(shè)計了全新的圖像數(shù)據(jù)表征方式和存儲模型,本課題將原有圖片小文件通過解碼之后,提取出一些關(guān)鍵信息存入到新設(shè)

4、計的圖像數(shù)據(jù)表征方式中,再存入一個大文件的存儲模型中,同時在存儲模型中建立對應(yīng)的索引,最后存儲在分布式文件系統(tǒng)中。
　　3.提出了一種新的并行圖像處理模型。以第2點的圖像數(shù)據(jù)表征方式和存儲模型為基礎(chǔ),結(jié)合MapReduce處理框架,設(shè)計輸入輸出接口,讓圖像算法真正的以并行方式處理,大大提升圖像處理的時間性能。
　　4.提出一個低延遲調(diào)度框架。該框架能夠?qū)υ诰€的實時數(shù)據(jù)處理請求進(jìn)行低延遲的響應(yīng),并且能夠從配置文件中讀取參數(shù)來進(jìn)