基于文本和視覺信息融合的Web圖像檢索.pdf

1、本文首先提出了淺層語義處理技術-詞匯相似性計算技術。詞匯相似性計算是自然語言處理領域中語義處理的基礎性研究之一，主要研究如何計算詞匯之間的語義相似程度。本文的研究中將詞匯相似性計算技術作為語義信息的度量手段，這使得存在于人類思維中的抽象語義信息具有了可計算性和可對比性，同時也進一步使得Web圖像的文本信息和視覺信息(圖像視覺信息被表示為高層語義特征，參考下文)的融合成為可能。 其次，本文針對Web圖像的低層視覺特征和高層語義特征

2、之間的語義鴻溝問題，提出了一個Web圖像自動加權標注模型：首先使用各種機器學習和統(tǒng)計技術學習從圖像低層視覺特征到圖像高層語義特征的映射模型：然后利用這個映射模型抽取圖像的高層語義特征；最后根據(jù)Web圖像文本信息和提取出的高層語義特征本身，使用詞匯相似性計算技術度量抽取出的高層語義特征的質(zhì)量。通過上述步驟可以將Web圖像表示為帶有權重的高層語義特征，同時也進一步將圖像視覺信息和文本信息的融合轉化為表達圖像內(nèi)容的高層語義特征和Web圖像文本

3、信息的融合。 接著，針對Web圖像包含的文本信息和從圖像視覺信息中提取的高層語義特征，提出了一種具有可擴展性的Web圖像檢索模型。為了充分利用Web文檔中的文本信息和從Web圖像低層視覺特征中抽取的高層語義特征，該模型構架在貝葉斯推理網(wǎng)上，利用推理網(wǎng)內(nèi)在的多信息源融合能力，將Web圖像文本特征和Web圖像的高層語義特征無縫地融合在一起實現(xiàn)Web圖像檢索。 基于上述研究，本文設計并實現(xiàn)了一個Web圖像檢索原型系統(tǒng)，該系統(tǒng)充