基于消息隊(duì)列的分布式圖像處理系統(tǒng)的設(shè)計與實(shí)現(xiàn).pdf

1、隨著大數(shù)據(jù)時代的來臨，分布式應(yīng)用展現(xiàn)出新的前景;同時隨著圖片數(shù)量的劇增，在工程上和科研上出現(xiàn)了對于大批量的圖像的分布式處理新的需求。當(dāng)前，Hadoop系統(tǒng)已經(jīng)有了廣泛的使用，也出現(xiàn)了基于Hadoop的分布式圖像處理方案。大批量圖像處理這種計算密集型的應(yīng)用也給分布式系統(tǒng)的設(shè)計帶來了一定的挑戰(zhàn)，Hadoop在這種應(yīng)用中有其自身的不足之處，本文新設(shè)計了一個系統(tǒng)對此做了相應(yīng)地改進(jìn)。而傳統(tǒng)的分布式圖像處理系統(tǒng)，多數(shù)基于遠(yuǎn)程過程調(diào)用和NFS實(shí)現(xiàn)，在

2、系統(tǒng)通信和存儲上存在先天的不足，本文不再做對比。
　　 本文設(shè)計了一個基于消息隊(duì)列的分布式圖像處理系統(tǒng)，系統(tǒng)各模塊通過精心設(shè)計的消息隊(duì)列的通信，實(shí)現(xiàn)了更加精簡和低耦合的計算框架。對于大批量圖像處理，相對基于Hadoop的實(shí)現(xiàn)，本系統(tǒng)計算框架減少了Map和Reduce任務(wù)之間的中間結(jié)果處理和網(wǎng)絡(luò)傳輸;基于消息隊(duì)列的計算框架設(shè)計，減少了系統(tǒng)各模塊之間的耦合性，使得功能和任務(wù)擴(kuò)展更加容易。
　　 另外，本系統(tǒng)實(shí)現(xiàn)了自適應(yīng)的任務(wù)

3、分配機(jī)制，能根據(jù)各主機(jī)先前任務(wù)的完成情況實(shí)時調(diào)整任務(wù)的分配，能及時有效調(diào)用所有工作主機(jī)的計算能力。本系統(tǒng)使用適用于小文件存儲的分布式文件系統(tǒng)FastDFS，使得任務(wù)的分解粒度精確到單個圖像文件，使任務(wù)更容易調(diào)度和恢復(fù);另外，分配任務(wù)的時候優(yōu)先考慮工作主機(jī)本機(jī)上存儲的文件，能利用文件的本地優(yōu)勢，減少網(wǎng)絡(luò)傳輸。
　　 此外，本系統(tǒng)通過C/C++語言實(shí)現(xiàn)，提供了C/C++編程接口來支持本地語言的圖像處理庫（如OpenCV、ImageM