基于內(nèi)容的圖像分布式處理平臺的設(shè)計與實現(xiàn).pdf

1、隨著傳統(tǒng)互聯(lián)網(wǎng)的發(fā)展和移動互聯(lián)網(wǎng)的興起,許多像微博、社交網(wǎng)絡(luò)這樣的內(nèi)容提供商發(fā)展迅速。在互聯(lián)網(wǎng)上,每天都有海量的文本、圖像、視頻數(shù)據(jù)需要處理,尤其對于圖像數(shù)據(jù),PB級別已經(jīng)在互聯(lián)網(wǎng)上出現(xiàn),而單臺服務(wù)器的有限處理能力和不易擴展性常常成為整個系統(tǒng)的瓶頸。如何利用現(xiàn)有資源,建立一個高性能的圖像分布式處理平臺,使其能夠提供處理海量圖像的各類服務(wù),成為市場的迫切需求。
　　針對該問題,本文將介紹一個圖像分布式處理平臺,提供面向海量圖像數(shù)據(jù)的

2、整套分布式存儲、計算和檢索服務(wù)。平臺主要功能包括基于內(nèi)容的分布式圖像特征提取和查詢,具有良好的系統(tǒng)擴展性和容錯性。在圖像特征提取方面,本文主要研究了基于內(nèi)容的圖像特征提取與匹配,采用SIFT特征來描述一幅圖像,并在此基礎(chǔ)上利用局部敏感(LSH)哈希進行索引構(gòu)建,把相似的圖像數(shù)據(jù)放入同一個桶中,進一步加快檢索速度;在分布式計算方面,實現(xiàn)了一套基于Hadoop的面向圖像的分布式計算方案,高效完成對圖像的分布式特征提取和特征匹配;在分布式存儲