基于Map-Join-Reduce預(yù)處理的外觀專利圖像檢索方法.pdf

1、外觀專利圖片包含著豐富的視覺信息，但是由于數(shù)量巨大，檢索范圍很大，若只靠人工識別，工作量非常大而且效率很低。
　　 然而，圖像檢索是數(shù)據(jù)密集型的計算過程，而在檢索過程中將消耗大量CPU的資源，所以，系統(tǒng)引入了Hadoop框架的這一種分布式計算模型，經(jīng)過實踐，的確比原有的B/S單節(jié)點架構(gòu)的圖像檢索系統(tǒng)提高了檢索效率，當(dāng)中的把圖像檢索技術(shù)應(yīng)用于MapReduce并行計算框架也解決了數(shù)據(jù)量快速增長導(dǎo)致增加系統(tǒng)負載而降低系統(tǒng)的實時性和并

2、發(fā)性能差、不能處理大規(guī)模的數(shù)據(jù)等這些問題。
　　 MapReduce在處理多重數(shù)據(jù)集上，不能實現(xiàn)一次聚合所有數(shù)據(jù)集，每個MapReduce的中間結(jié)果都要作檢查和shuffle操作來避免產(chǎn)生錯誤，系統(tǒng)實時性遭遇到瓶頸。Map－Join－Reduce這一擴展式的編程模型預(yù)處理方法可一次性地運用在多重數(shù)據(jù)集中，簡化了數(shù)據(jù)分析任務(wù)，加速檢索速度。Map－Join-Reduce是對MapReduce的一個擴展式編程模型，適用于多個數(shù)據(jù)集的

3、混合運算處理，而且Map-Join-Reduce和MapReduce它們可以隨意進行輸入輸出鏈?zhǔn)竭B接處理。該系統(tǒng)把主要的圖像特征數(shù)據(jù)和著錄信息數(shù)據(jù)使用Map-Join-Reduce作混合分布式處理。由于這兩個數(shù)據(jù)集有一定的關(guān)聯(lián)性，使用Map-Join-Reduce作混合分布式預(yù)處理，能夠簡化數(shù)據(jù)量，壓縮搜索量，從而提高檢索的效率。Map-Join-Reduce首先把兩個數(shù)據(jù)表中擁有某一個著錄信息的記錄條目使用Map任務(wù)把它們都找出來，然