海量圖片去重算法研究.pdf

1、隨著網(wǎng)絡(luò)時(shí)代的發(fā)展，人們對(duì)信息資源掌握的增多，導(dǎo)致需要存儲(chǔ)的數(shù)據(jù)量以幾何級(jí)數(shù)在增長(zhǎng)，網(wǎng)絡(luò)帶寬的不足、存儲(chǔ)資源的緊缺以及等等諸多問(wèn)題隨之而來(lái)。解決這些問(wèn)題的有效手段是清除重復(fù)數(shù)據(jù)，保證數(shù)據(jù)不存在冗余。而圖片作為眾多數(shù)據(jù)中的一種，經(jīng)常出現(xiàn)在手機(jī)、網(wǎng)頁(yè)這些人們?nèi)粘Ｊ褂玫墓ぞ弋?dāng)中，其量級(jí)之大給存儲(chǔ)設(shè)備帶來(lái)極大的困擾。
　　常用的清除重復(fù)數(shù)據(jù)的方法有文件級(jí)去重技術(shù)和塊級(jí)去重技術(shù)，但是由于圖片存在不易修改的特性，若采用文件級(jí)進(jìn)行去重，耗時(shí)長(zhǎng)、

2、對(duì)系統(tǒng)性能損耗嚴(yán)重;又因?yàn)閳D片具有任意性，若采用塊級(jí)進(jìn)行去重，塊的大小無(wú)法準(zhǔn)確的適應(yīng)每種圖片，容易出現(xiàn)刪除錯(cuò)誤等嚴(yán)重問(wèn)題。所以建立一種簡(jiǎn)單有效的圖片重復(fù)刪除技術(shù)成為科研人員的研究重點(diǎn)。本文提出了一種能夠高效對(duì)海量圖片進(jìn)行去重的算法，該算法主要利用圖片本身固有特征判斷重復(fù)。利用圖片本身特征能夠克服塊級(jí)去重時(shí)由于塊大小無(wú)法適應(yīng)所有圖片導(dǎo)致其刪除錯(cuò)誤等問(wèn)題，同時(shí)采用并行化計(jì)算及快速定位重復(fù)方法能夠克服文件級(jí)去重時(shí)耗時(shí)長(zhǎng)等問(wèn)題。
　　本論

3、文首先介紹了清除重復(fù)數(shù)據(jù)的研究背景及意義，對(duì)常用的清除重復(fù)數(shù)據(jù)的技術(shù)進(jìn)行了簡(jiǎn)介。由于這些方法對(duì)重復(fù)圖片刪除有一定的局限性，而本論文提出的方法主要利用圖片本身特征，為了準(zhǔn)確、高效的提取圖片特征，對(duì)常用的圖片特征進(jìn)行了描述。其次，根據(jù)提取的特征，建立了多特征綜合圖片離線去重算法，通過(guò)對(duì)該算法的兩次改進(jìn)，使得其在單機(jī)i5處理器條件下處理500萬(wàn)級(jí)圖片量時(shí)僅需要10分鐘左右。然后，根據(jù)多特征綜合離線去重算法的思路，提出了多特征綜合圖片在線去重算