基于消息隊(duì)列的分布式圖像處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著大數(shù)據(jù)時(shí)代的來(lái)臨，分布式應(yīng)用展現(xiàn)出新的前景;同時(shí)隨著圖片數(shù)量的劇增，在工程上和科研上出現(xiàn)了對(duì)于大批量的圖像的分布式處理新的需求。當(dāng)前，Hadoop系統(tǒng)已經(jīng)有了廣泛的使用，也出現(xiàn)了基于Hadoop的分布式圖像處理方案。大批量圖像處理這種計(jì)算密集型的應(yīng)用也給分布式系統(tǒng)的設(shè)計(jì)帶來(lái)了一定的挑戰(zhàn)，Hadoop在這種應(yīng)用中有其自身的不足之處，本文新設(shè)計(jì)了一個(gè)系統(tǒng)對(duì)此做了相應(yīng)地改進(jìn)。而傳統(tǒng)的分布式圖像處理系統(tǒng)，多數(shù)基于遠(yuǎn)程過(guò)程調(diào)用和NFS實(shí)現(xiàn)，在

2、系統(tǒng)通信和存儲(chǔ)上存在先天的不足，本文不再做對(duì)比。
　　 本文設(shè)計(jì)了一個(gè)基于消息隊(duì)列的分布式圖像處理系統(tǒng)，系統(tǒng)各模塊通過(guò)精心設(shè)計(jì)的消息隊(duì)列的通信，實(shí)現(xiàn)了更加精簡(jiǎn)和低耦合的計(jì)算框架。對(duì)于大批量圖像處理，相對(duì)基于Hadoop的實(shí)現(xiàn)，本系統(tǒng)計(jì)算框架減少了Map和Reduce任務(wù)之間的中間結(jié)果處理和網(wǎng)絡(luò)傳輸;基于消息隊(duì)列的計(jì)算框架設(shè)計(jì)，減少了系統(tǒng)各模塊之間的耦合性，使得功能和任務(wù)擴(kuò)展更加容易。
　　 另外，本系統(tǒng)實(shí)現(xiàn)了自適應(yīng)的任務(wù)

3、分配機(jī)制，能根據(jù)各主機(jī)先前任務(wù)的完成情況實(shí)時(shí)調(diào)整任務(wù)的分配，能及時(shí)有效調(diào)用所有工作主機(jī)的計(jì)算能力。本系統(tǒng)使用適用于小文件存儲(chǔ)的分布式文件系統(tǒng)FastDFS，使得任務(wù)的分解粒度精確到單個(gè)圖像文件，使任務(wù)更容易調(diào)度和恢復(fù);另外，分配任務(wù)的時(shí)候優(yōu)先考慮工作主機(jī)本機(jī)上存儲(chǔ)的文件，能利用文件的本地優(yōu)勢(shì)，減少網(wǎng)絡(luò)傳輸。
　　 此外，本系統(tǒng)通過(guò)C/C++語(yǔ)言實(shí)現(xiàn)，提供了C/C++編程接口來(lái)支持本地語(yǔ)言的圖像處理庫(kù)（如OpenCV、ImageM