基于網(wǎng)頁信息和圖像特征的Web圖像檢索研究.pdf

1、隨著信息技術(shù)和互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)站數(shù)量激增，加上twitter，微信，微博等新媒體的廣泛應(yīng)用，信息資源已進(jìn)入海量數(shù)據(jù)時(shí)代。在這些資源中，不僅包括易于處理的文本數(shù)據(jù)，還包括大量的圖像、視頻等多媒體數(shù)據(jù)。與文本相比，圖像顯得更為直觀、生動，加上便攜圖像獲取設(shè)備如智能手機(jī)的普及。數(shù)字圖像的數(shù)量出現(xiàn)了飛速增長，幾乎每年增加一倍。如何快速、準(zhǔn)確地從海量網(wǎng)絡(luò)資源中檢索到感興趣的Web圖像成為迫切需要解決的問題。
　　Web圖像具有信息量高、

2、數(shù)量巨大、非結(jié)構(gòu)化、高層語義多樣和不確定性的特點(diǎn)。使得信息檢索領(lǐng)域的相關(guān)成果很難直接應(yīng)用到Web圖像檢索領(lǐng)域。如何綜合運(yùn)用數(shù)字圖像處理、模式識別、機(jī)器學(xué)習(xí)、信息檢索等理論和技術(shù)，研究出性能高效的Web圖像檢索系統(tǒng)，為用戶提供穩(wěn)定可靠，準(zhǔn)確度高的圖像檢索服務(wù)，具有重要的理論意義和現(xiàn)實(shí)價(jià)值。
　　Web圖像嵌入在網(wǎng)頁中，不僅包含豐富的視覺信息，其所在網(wǎng)頁的文本中也包含了大量與Web圖像相關(guān)的信息。關(guān)于Web圖像檢索的研究主要基于這兩類

3、信息展開，包括三個方向：基于Web文本信息的檢索模型TBIR、基于Web圖像內(nèi)容的檢索模型CBIR和融合文本與圖像信息的檢索模型ABIR。TBIR從Web圖像所在網(wǎng)頁的文本中提取與Web圖像相關(guān)的關(guān)鍵詞用于Web圖像的索引和檢索。CBIR從Web圖像的底層視覺信息中提取視覺特征用于Web圖像的索引和檢索。ABIR綜合利用文本和圖像信息用于Web圖像的索引和檢索。顯然，同時(shí)使用文本和圖像信息的ABIR具有更大的優(yōu)勢，但是這兩種信息的結(jié)構(gòu)不

4、同(一個屬于高層語義關(guān)鍵詞信息，一個屬于圖像底層視覺特征信息)，很難直接融合，怎樣無縫地融合兩者的信息依舊是Web圖像檢索領(lǐng)域的研究難點(diǎn)。直接使用圖像視覺特征檢索圖像，需要用戶提供樣圖或草圖，給用戶的圖像檢索造成極大的不便。而要將圖像視覺特征轉(zhuǎn)換為高層語義關(guān)鍵詞，又存在“語義鴻溝”問題。因此，怎樣將圖像視覺特征映射為高層語義關(guān)鍵詞是另一個要解決的難題。這兩個難點(diǎn)導(dǎo)致ABIR的研究進(jìn)展緩慢，還需要進(jìn)行深入的研究。
　　針對ABIR存

5、在的問題，本文提出了一種基于網(wǎng)頁信息和圖像特征的Web圖像檢索模型，該模型將Web圖像檢索的信息源從兩個（文本信息和圖像特征）擴(kuò)展到三個（文本信息、圖像特征和圖像中包含的文字），增加了Web圖像索引的信息源。同時(shí)，通過圖像自動標(biāo)注解決“語義鴻溝”問題，將圖像視覺特征映射為高層語義關(guān)鍵詞。最后，利用貝葉斯推理網(wǎng)將三種信息源的關(guān)鍵詞無縫地融合在一起，解決了異構(gòu)信息的融合難題。
　　詞匯相似度計(jì)算是解決“語義鴻溝”問題的基礎(chǔ)，也是本文提

6、出圖像檢索模型中融合三種信息源的前提。因此，本文第四章詳細(xì)介紹了基于知網(wǎng)的詞匯相似度計(jì)算方法。
　　圖像中的文本分為場景文本和人工文本，這兩種文本都與圖像的內(nèi)容和高層語義有很大的相關(guān)性。因此，將圖像中包含的文本作為圖像檢索的信息源之一具有重要的意義。本文提出了基于筆畫寬度檢測的Web圖像文本識別算法，將圖像中的文字識別出來，增加了Web圖像檢索的信息源。
　　圖像自動標(biāo)注是解決“語義鴻溝”問題的有效手段。本文提出的圖像自動標(biāo)

7、注模型，通過三種經(jīng)典的自動標(biāo)注算法生成候選關(guān)鍵詞集，然后通過詞匯相似性計(jì)算候選關(guān)鍵詞之間的內(nèi)聚性和候選關(guān)鍵詞與圖像文本、Web文本關(guān)鍵詞之間的一致性，將內(nèi)聚性和一致性低于閾值的關(guān)鍵詞作為“噪音”關(guān)鍵詞從候選關(guān)鍵詞中過濾掉。同時(shí)，將內(nèi)聚性和一致性作為關(guān)鍵詞的權(quán)重，為使用貝葉斯網(wǎng)絡(luò)進(jìn)行信息融合奠定基礎(chǔ)。
　　貝葉斯推理網(wǎng)絡(luò)具有融合多種信息的能力，是一種基于概率的、不確定性推理網(wǎng)絡(luò)。使用貝葉斯推理網(wǎng)的關(guān)鍵是如何確定各事件的初始概率和條件