基于圖理論的自動(dòng)圖像標(biāo)注研究.pdf

1、自動(dòng)圖像標(biāo)注是基于內(nèi)容圖像檢索中重要而具有挑戰(zhàn)性的工作,它可以在一定程度上解決基于內(nèi)容圖像檢索中存在的語義鴻溝問題。如果能實(shí)現(xiàn)自動(dòng)圖像標(biāo)注,那么現(xiàn)有的圖像檢索問題實(shí)際上就可以轉(zhuǎn)化成技術(shù)已相當(dāng)成熟的的文本檢索問題。因此,自動(dòng)圖像標(biāo)注的研究是一個(gè)有重要意義的課題。
　　本文圍繞基于圖理論的自動(dòng)圖像標(biāo)注展開研究,在分析現(xiàn)有的各種自動(dòng)圖像標(biāo)注方法不足之處的基礎(chǔ)上,提出使用基于圖學(xué)習(xí)的自動(dòng)圖像標(biāo)注方法。并闡明本文研究的立足點(diǎn):使用基于圖理論

2、的自動(dòng)圖像標(biāo)注作為傳統(tǒng)的圖像標(biāo)注方法的補(bǔ)充,以提高圖像標(biāo)注系統(tǒng)的性能。
　　底層圖像特征提取是自動(dòng)圖像標(biāo)注系統(tǒng)的基礎(chǔ)。本文詳細(xì)闡述了基于自動(dòng)圖像標(biāo)注的低層特征提取和圖像分割方法,總結(jié)和歸納了各種方法的優(yōu)缺點(diǎn)及適用范圍。針對(duì)彩色圖像存在邊緣的模糊性,提出了一種基于模糊熵的圖像邊緣特征提取算法。該方法首先計(jì)算出每個(gè)像素在模糊熵特征空間的相異測(cè)度,結(jié)合鄰域內(nèi)的邊緣結(jié)構(gòu),提取圖像中每個(gè)像素的結(jié)構(gòu)信息測(cè)度和方向信息測(cè)度,然后對(duì)結(jié)構(gòu)信息測(cè)度和

3、方向信息測(cè)度實(shí)施非極大抑制,確定最終的邊緣像素圖像。實(shí)驗(yàn)結(jié)果表明該方法邊緣檢測(cè)能力強(qiáng),有較好的抗噪性。另外,為了改善JSEG分割算法對(duì)彩色圖像存在過分割現(xiàn)象,提出了基于邊緣信息的JSEG分割改進(jìn)算法。
　　圖像語義具有模糊性、復(fù)雜性、抽象性等特點(diǎn),僅用低層特征進(jìn)行描述是不夠的,在提取圖像語義時(shí)需要結(jié)合圖像相關(guān)內(nèi)容,以便提高圖像標(biāo)注的精確度。為此,本文提出了基于互K近鄰圖的圖像標(biāo)注方法,該方法用一個(gè)互K近鄰圖融合了圖像的低層特征之間

4、、標(biāo)注詞之間以及圖像與標(biāo)注詞間的相互關(guān)系。利用互K近鄰圖實(shí)現(xiàn)從兩個(gè)節(jié)點(diǎn)間相互的關(guān)系來提取語義信息,彌補(bǔ)了基于K近鄰圖的方法中單方向挖掘節(jié)點(diǎn)信息的不足。并引入逆向文檔頻率(IDF)修正圖像節(jié)點(diǎn)與其標(biāo)注詞節(jié)點(diǎn)之間邊的權(quán)值,克服了傳統(tǒng)方法中高頻詞引起的偏差,有效的提高了圖像標(biāo)注的性能。在對(duì)互K近鄰圖結(jié)構(gòu)分析的基礎(chǔ)上,提出一種快速求解算法,該算法在不明顯降低圖像標(biāo)注精度下,實(shí)現(xiàn)快速求解。
　　由于“語義鴻溝”的存在,低層特征相同或相似的圖

5、像,其語義有可能完全不同。如何挖掘圖像的高層語義與低層特征之間的內(nèi)在聯(lián)系是當(dāng)前圖像標(biāo)注領(lǐng)域研究的難點(diǎn)之一。本文在詳細(xì)分析現(xiàn)有基于聚類的圖像標(biāo)注方法優(yōu)缺點(diǎn)的基礎(chǔ)上,提出了一種譜聚類圖像標(biāo)注方法。該方法采用以下兩種有效途徑建立圖像的高層語義和低層特征之間的內(nèi)在聯(lián)系:首先利用多元統(tǒng)計(jì)學(xué)中的典型相關(guān)性分析(CCA)對(duì)圖像的語義特征和低層特征進(jìn)行關(guān)聯(lián)分析,以便建立圖像的低層特征與語義特征間的相關(guān)性。然后,在CCA空間內(nèi),對(duì)訓(xùn)練圖像先按語義聚類,使

6、得語義相同或相近的圖像處于同一類中,再對(duì)每個(gè)語義類按區(qū)域特征聚類,通過這兩次聚類能有效地建立圖像的低層特征與語義特征間的一致性。實(shí)驗(yàn)結(jié)果表明所提出的方法明顯提高了標(biāo)注準(zhǔn)確度。
　　前述的標(biāo)注方法都存在需要大量的已標(biāo)注圖像的缺點(diǎn),如何通過對(duì)少量典型的樣本圖像進(jìn)行人工標(biāo)注作為訓(xùn)練集,實(shí)現(xiàn)精確的圖像自動(dòng)標(biāo)注,已成為當(dāng)前圖像標(biāo)注領(lǐng)域中研究熱點(diǎn)之一。本文在基于圖的標(biāo)簽傳播的原理與機(jī)制的基礎(chǔ)上,提出一種利用Voronoi圖的構(gòu)圖方法。該方法利

7、用Voronoi圖表達(dá)了空間目標(biāo)的影響區(qū)域,將圖像數(shù)據(jù)點(diǎn)在特征空間內(nèi)的分布信息融合到點(diǎn)對(duì)間的相似性表示中。利用未標(biāo)注圖像與已標(biāo)注圖像的內(nèi)在相關(guān)性,將半監(jiān)督學(xué)習(xí)和多標(biāo)記學(xué)習(xí)有效結(jié)合起來,為圖像進(jìn)行標(biāo)注。實(shí)驗(yàn)結(jié)果表明,提出的標(biāo)注方法效率高,同時(shí)標(biāo)注結(jié)果與傳統(tǒng)的標(biāo)注方法相比得到了明顯改善。
　　傳統(tǒng)的標(biāo)注算法的標(biāo)注結(jié)果都不可避免地存在較大噪聲,如標(biāo)注詞之間的不一致性,標(biāo)注詞無意義等現(xiàn)象。因此有必要對(duì)各類方法輸出的結(jié)果進(jìn)一步優(yōu)化處理。針對(duì)