圖像語義標(biāo)注與檢索方法研究.pdf

1、隨著互聯(lián)網(wǎng)和多媒體技術(shù)的快速發(fā)展，可以預(yù)見在未來，圖像等多媒體數(shù)據(jù)將繼續(xù)爆炸性增長。迄今為止，現(xiàn)代化的信息采集手段已不再局限于用精煉的文本或者屬性關(guān)鍵詞來概括目標(biāo)事物的特性，更有可能通過圖像等多媒體手段對其進(jìn)行原始而直觀的描述，從而減少信息的損失。因此，面對海量的圖像等媒體內(nèi)容，如何有效地進(jìn)行智能化管理變得尤為重要，也成為當(dāng)今一個(gè)重要的研究內(nèi)容。
　　圖像自動(dòng)語義標(biāo)注方法是圖像智能化管理的一個(gè)重要體現(xiàn)，它試圖在圖像的高層語義信息和

2、低層特征之間建立一種映射關(guān)系，于是緩解了“語義鴻溝”的問題，進(jìn)而可以把圖像檢索問題轉(zhuǎn)化為成熟的文本檢索問題。傳統(tǒng)的標(biāo)注方法考慮了如何建立圖像低層視覺特征與高層語義概念之間的映射，在語義關(guān)聯(lián)方面還存在諸多未得到很好解決的問題。很多方法僅在平衡的語義概念小字典上完成，然而這種約束未必能夠在真實(shí)數(shù)據(jù)集上得到滿足。為了克服這個(gè)局限性，文中設(shè)計(jì)了一個(gè)基于隱馬爾可夫模型的圖像自動(dòng)標(biāo)注方法IAMM，該方法把圖像標(biāo)注過程看作是檢索有相互關(guān)聯(lián)的隱藏語義概

3、念序列的過程，通過同時(shí)考慮視覺內(nèi)容和語義關(guān)聯(lián)來檢索出未標(biāo)注圖像的合理隱藏語義概念序列。在IAMM方法里，全部隱藏語義概念可以構(gòu)成一條一階馬爾可夫鏈，兩個(gè)隱藏語義概念之間的邊權(quán)重代表它們的語義關(guān)聯(lián)性?？紤]到圖像語義概念分布的不平衡特性，在計(jì)算發(fā)射概率和轉(zhuǎn)移概率兩個(gè)子過程中，語義概念的權(quán)重基于訓(xùn)練數(shù)據(jù)分別通過梯度下降方法和迭代方法獲得。實(shí)驗(yàn)結(jié)果表明該隱藏語義序列較好反映了圖像的內(nèi)容。
　　一些圖像標(biāo)注方法考慮利用語義關(guān)聯(lián)來提高圖像語義

4、標(biāo)注的效果，其抽取的語義或者是基于本地圖像數(shù)據(jù)集的局部語義，或者是基于互聯(lián)網(wǎng)海量數(shù)據(jù)集的全局語義。但是，在真實(shí)數(shù)據(jù)環(huán)境下，語義概念的分布通常是不均衡的，存在大量的稀疏語義概念，這導(dǎo)致抽取的局部語義存在“失真”現(xiàn)象。而對于全局語義，其抽取語義的數(shù)據(jù)集通常是獨(dú)立于本地圖像集的外來異質(zhì)數(shù)據(jù)集，所以該全局語義并未完全反映本地圖像庫的語義特性。為了合理地抽取語義，文中構(gòu)造了一種基于局部語義 與全局語義聯(lián)合學(xué)習(xí)的概念依賴網(wǎng)絡(luò)CIN，該網(wǎng)絡(luò)既反映了通

5、用的語義依賴，又反映了本地圖像的語義特性。對一個(gè)語義概念而言，當(dāng)來自于CIN的強(qiáng)依賴概念集以較強(qiáng)的視覺證據(jù)出現(xiàn)于未標(biāo)注圖像中時(shí)，圖像標(biāo)注方法考慮提高該語義概念的預(yù)測概率。
　　體現(xiàn)圖像數(shù)據(jù)智能化管理的另一項(xiàng)技術(shù)是圖像的語義檢索，它包含了人們對圖像內(nèi)容的理解，讓計(jì)算機(jī)按照人們的主觀意識(shí)與理解來檢索圖像，從而可以最大程度地滿足用戶的檢索需求。傳統(tǒng)的研究工作主要關(guān)注單概念圖像檢索方法，這部分限定了其實(shí)際可用性。為了執(zhí)行多概念圖像檢索，傳

6、統(tǒng)方法使用單概念檢測器來執(zhí)行多概念檢索，但是，語義多概念檢索項(xiàng)所構(gòu)成的視覺場景具有獨(dú)有的視覺特性，僅使用傳統(tǒng)的單概念檢測器往往不大奏效，MCRM方法考慮構(gòu)建并使用多概念檢測器，它把一個(gè)語義多概念當(dāng)做一個(gè)有語境的整體，而直接從重新整理的多概念訓(xùn)練集中學(xué)習(xí)出來。同時(shí)，傳統(tǒng)的單概念檢測器可以較好地檢測單個(gè)語義概念，MCRM方法考慮了這兩者的概率結(jié)合以提高多概念圖像檢索的效果。為了衡量兩個(gè)語義場景多概念間的語義依賴，MCRM檢索方法提出了三種估

7、算語義依賴概率的方法，而一個(gè)語義多概念是否存在于圖像中的視覺證據(jù)被貝葉斯規(guī)則轉(zhuǎn)換后交由支持向量機(jī)去概率估算。
　　在Web 2.0/3.0時(shí)代下，Web圖像數(shù)據(jù)往往伴隨著相關(guān)聯(lián)的社會(huì)化文本標(biāo)簽數(shù)據(jù)，圖像與文本雙模態(tài)數(shù)據(jù)可以提供互補(bǔ)的信息，因此文中提出了一個(gè)用于多概念圖像檢索任務(wù)的圖像與文本雙模態(tài)關(guān)聯(lián)學(xué)習(xí)方法（BLMQ），該方法對于視覺模態(tài)、語義依賴以及文本模態(tài)三者建立了關(guān)聯(lián)，因此，獲得了更好的雙模態(tài)多概念圖像檢索效果。此外，對于傳