互聯(lián)網(wǎng)文本信息協(xié)助下的圖像分類.pdf

1、隨著萬維網(wǎng)(World Wide Web)上越來越多的多媒體數(shù)據(jù)的出現(xiàn),從它們中挖掘信息在互聯(lián)網(wǎng)應(yīng)用技術(shù)中顯得越來越重要。注意到互聯(lián)網(wǎng)上目前已經(jīng)存在著大量帶標(biāo)注的文本信息,考慮到文本知識(shí)的表示與挖掘相比多媒體數(shù)據(jù)更為容易,人們希望通過考察媒體數(shù)據(jù)與文本數(shù)據(jù)之間的相互影響與相互依存關(guān)系,借用后者來幫助機(jī)器更好地理解前者。這使得最大化利用文本信息來幫助進(jìn)行多媒體信息抽取成為多媒體數(shù)據(jù)挖掘領(lǐng)域的一個(gè)新穎而關(guān)鍵的課題。本論文以圖像分類(imag

2、e classification)任務(wù)為對(duì)象,希望通過它開啟媒體-文本數(shù)據(jù)交叉挖掘的門路。我們使用一種被稱為“文本協(xié)助下的圖像分類器”(text-aided image classifier,TAIC)的技術(shù),嘗試解決帶標(biāo)注的訓(xùn)練圖片樣例數(shù)量極少情況下的圖像分類問題。這個(gè)問題本身也有著重要的現(xiàn)實(shí)背景,因?yàn)楫?dāng)今的互聯(lián)網(wǎng)上帶標(biāo)注的圖片數(shù)量遠(yuǎn)少于帶標(biāo)注的文檔數(shù)量。我們解決這一問題的方案基于圖像與文本的可重詞集(bag-of-words)表示以

3、及Naive Bayes(NB)分類模型(Naive Bayes classification model, NBM),方案的重點(diǎn)是借助互聯(lián)網(wǎng)上豐富的帶標(biāo)注文本信息以及圖像-文本共同出現(xiàn)(image-text co-occurrence,以下簡(jiǎn)作共生)數(shù)據(jù)預(yù)測(cè)給定目標(biāo)概念下圖像特征的分布規(guī)律(image feature distribution)。具體方法上,我們擴(kuò)展了傳統(tǒng)的樸素貝葉斯算法,首先通過傳統(tǒng)方法以及互聯(lián)網(wǎng)上充足的帶標(biāo)注文本信

4、息找到給定目標(biāo)概念下文本特征空間上最具代表性(most discriminative)的特征,再通過一個(gè)我們稱之為特征映射(feature mapping)的過程將上述文本特征映射到圖像特征空間上,后者的數(shù)據(jù)基礎(chǔ)就是互聯(lián)網(wǎng)上豐富的圖像-文本共生信息。這些共生數(shù)據(jù)在特征映射過程的幫助下搭建起了一座溝通文本知識(shí)與圖像知識(shí)的橋梁。整個(gè)算法的實(shí)質(zhì)是用一個(gè)基于充足的文本訓(xùn)練數(shù)據(jù)得到的文本特征分布來估計(jì)圖像空間上的目標(biāo)特征分布。通過在真實(shí)世界的圖片