基于多距離學習的圖像語義自動標注研究.pdf

1、隨著數(shù)碼攝像設備的普及和社交網(wǎng)絡的流行，每天有數(shù)以萬計的數(shù)字圖像被上傳到互聯(lián)網(wǎng)上并分享。正所謂一圖勝千言，海量圖像數(shù)據(jù)中蘊藏著豐富的信息資源有待我們去發(fā)掘，而對這些圖像進行有效的管理和利用的前提是要對圖像進行語義標注。但互聯(lián)網(wǎng)上大部分圖片本身不具有語義標簽，有語義標簽的圖片又存在著標簽錯誤或者標簽不完整等問題，加之人工圖像標注代價較高、難以大規(guī)模使用，圖像語義自動標注（Automatic Image Annotation，AIA）一直是

2、近十年來的熱門研究課題，引起了學術界、工業(yè)界的廣泛關注。
　　圖像標注面臨的最大挑戰(zhàn)來自于高層語義和底層圖像視覺特征之間的不匹配，即所謂的“語義鴻溝”。近年來研究者們提出了很多方法嘗試跨越語義鴻溝，這些方法大致可以分為兩類:其中一類為視覺特征學習技術，主要關注多種圖像特征如何綜合使用;另一類方法是語義上下文建模技術，主要利用了高層語義概念之間的相關信息。相比之前的標注模型，這兩類方法都在標注效果上取得了較顯著的提高。如果能進一步將

3、兩者結合起來，圖像標注準確性應該能得到進一步的提升，然而據(jù)我們所知，目前幾乎沒有工作嘗試整合這兩種方法。
　　本文提出了一個基于條件隨機場（Conditional Random Fields，CRF）的統(tǒng)一模型——“核條件隨機場（Kemelized Conditional Random Fields，KCRF）”模型，將稀疏多距離學習和語義上下文建模融合到一個框架中，在底層圖像特征學習和語義上下文建模之間建立了緊密的相互作用。具體

4、來講，CRF負責建模圖像語義上下文關系，在CRF的大框架下我們通過引入核Logistic回歸(KemelizedLogistic Regression，KLR)[17]實現(xiàn)了多視覺距離學習。我們分別為語義上下文參數(shù)和多距離學習參數(shù)使用L2正則化項和L1正則化項。語義上下文參數(shù)和多距離學習參數(shù)在統(tǒng)一的框架下同時學習得到。
　　我們在兩個公用數(shù)據(jù)集—— Corel5k和TRECVID2005——上進行了系統(tǒng)的實驗，驗證KCRF模型的標

5、注性能。從實驗結果可以看出，KCRF模型比目前較先進的多特征學習、語義上下文建模等圖像標注模型在標注準確度上有比較明顯的提高。實驗同時證明了KCRF的性能提升來自于上下文建模和多距離學習的結合，而非來自于單獨一種方法。另外，當圖像特征的數(shù)量較多時，KCRF模型也表現(xiàn)得更加穩(wěn)定。
　　本文還基于較成熟、有效的上下文建模方法實現(xiàn)了一個具有交互功能的圖像語義自動標注系統(tǒng)。該系統(tǒng)操作簡單，能夠對用戶上傳的圖像實現(xiàn)批量式的有效的語義標注，也