基于學(xué)習(xí)的視覺(jué)局部表達(dá)與索引.pdf

1、基于局部特征與視覺(jué)辭典的視覺(jué)局部表達(dá)與索引模型是當(dāng)前主流的計(jì)算機(jī)視覺(jué)系統(tǒng)的基本組成部分,在目標(biāo)識(shí)別、場(chǎng)景匹配、多媒體內(nèi)容搜索與分析中具有廣闊的應(yīng)用前景,也是目前計(jì)算機(jī)視覺(jué)與多媒體分析的研究熱點(diǎn)之一。局部視覺(jué)表達(dá)模型首先提取圖像中的局部感興趣點(diǎn),然后在訓(xùn)練集合上構(gòu)建視覺(jué)辭典,形成局部視覺(jué)空間的量化表以獲取量化的視覺(jué)單詞特征空間劃分。進(jìn)而,視覺(jué)辭典及其索引模型將圖像表示為視覺(jué)詞包,并在視覺(jué)單詞上進(jìn)行倒排索引。在當(dāng)前主流的計(jì)算機(jī)視覺(jué)系統(tǒng)的應(yīng)用

2、研究已經(jīng)表明,視覺(jué)局部表達(dá)模型具有很好的尺度與仿射變換不變性,并且能夠較好的解決目標(biāo)的部分遮擋與搜索中的部分匹配問(wèn)題。
　　然而,研究中也發(fā)現(xiàn),基于局部視覺(jué)特征與視覺(jué)辭典的視覺(jué)局部表達(dá)模型也存在著視覺(jué)判別力不足、表達(dá)過(guò)于稠密、無(wú)法反映高層語(yǔ)義等問(wèn)題。本文主要針對(duì)局部特征抽取、視覺(jué)辭典構(gòu)造過(guò)程中的視覺(jué)量化誤差與語(yǔ)義描述力、進(jìn)行研究,并且探討了基于視覺(jué)單詞共生模式的視覺(jué)辭典的輸出表達(dá)。本文引入基于學(xué)習(xí)的機(jī)制,進(jìn)行有監(jiān)督或者無(wú)監(jiān)督的視覺(jué)

3、局部特征抽取、視覺(jué)辭典構(gòu)建、視覺(jué)模式挖掘,試圖構(gòu)建一個(gè)基于學(xué)習(xí)的,分層次的視覺(jué)局部表達(dá)框架。在局部描述子抽取方面,本文試圖通過(guò)空間上下文的學(xué)習(xí)和類(lèi)別上下文的學(xué)習(xí),將檢測(cè)從局部域推進(jìn)到局部-全局域之間。在無(wú)監(jiān)督視覺(jué)詞典及其索引學(xué)習(xí)方面,本文探究了傳統(tǒng)視覺(jué)辭典中量化誤差的起源,揭示了視覺(jué)單詞與文本單詞分布的差異性起源,和解決此差異性帶來(lái)的影響,并探討了辭典及其索引模型的泛化性和自適應(yīng)學(xué)習(xí)能力。在有監(jiān)督視覺(jué)辭典學(xué)習(xí)方面,本文同時(shí)探究了引入圖像

4、類(lèi)別標(biāo)簽,監(jiān)督視覺(jué)辭典的構(gòu)建過(guò)程,從而將學(xué)習(xí)算法引入到特征空間的量化中。在優(yōu)化的視覺(jué)辭典模型的基礎(chǔ)上,本文進(jìn)一步探究了由視覺(jué)單詞到視覺(jué)短語(yǔ)的構(gòu)建方法,研究了基于視覺(jué)單詞空間組合的視覺(jué)模式生成方法和使用方法。具體而言,本文的主要研究?jī)?nèi)容如下:
　　在局部感興趣點(diǎn)的提取檢測(cè)階段,提出了一種基于上下文的半局部感興趣點(diǎn)檢測(cè)子。該檢測(cè)子結(jié)合了圖像的尺度空間極值與位置空間的響應(yīng)上下文進(jìn)行圖像中感興趣點(diǎn)的檢測(cè)。首先,提出了一種上下文高斯差分場(chǎng),

5、用以統(tǒng)計(jì)傳統(tǒng)局部檢測(cè)子的多尺度空間上下文,從而有效反映半局部域上的上下文感興趣區(qū)域。實(shí)驗(yàn)進(jìn)一步發(fā)現(xiàn)其與傳統(tǒng)的視覺(jué)關(guān)注度模型有著一定程度上吻合。其次,通過(guò)均值漂移算法在上下文高斯差分場(chǎng)上定位檢測(cè)結(jié)果,并且將分類(lèi)訓(xùn)練的類(lèi)別信息融入均值漂移核函數(shù)中,從而允許檢測(cè)子發(fā)現(xiàn)對(duì)于后端分類(lèi)器真正“感興趣”的特征點(diǎn)。結(jié)合以上兩種上下文,構(gòu)建了稀疏、上下文敏感、具有類(lèi)比判決力的半局部局部特征檢測(cè)子。
　　在無(wú)監(jiān)督視覺(jué)辭典優(yōu)化與索引構(gòu)造階段,提出了一種

6、基于密度的測(cè)距學(xué)習(xí)算法,通過(guò)無(wú)監(jiān)督密度學(xué)習(xí),進(jìn)行特征空間的不等長(zhǎng)量化。首先,通過(guò)在有判決力特征空間區(qū)域進(jìn)行精細(xì)量化,而在無(wú)判決力特征空間區(qū)域進(jìn)行粗糙量化,從而減少整體量化誤差,同時(shí)也使得所構(gòu)造的視覺(jué)單詞具有和文本單詞類(lèi)似的分布。進(jìn)而,提出了一種類(lèi)似于集成學(xué)習(xí)的層次識(shí)別鏈,進(jìn)行基于視覺(jué)辭典層次結(jié)構(gòu)的快速識(shí)別,在保證識(shí)別匹配有效性的基礎(chǔ)上提高算法效率。
　　在有監(jiān)督的視覺(jué)辭典學(xué)習(xí)階段,進(jìn)一步提出了基于語(yǔ)義嵌入的有監(jiān)督量化算法。該算法通

7、過(guò)引入網(wǎng)絡(luò)社區(qū)的圖像標(biāo)簽信息,構(gòu)建語(yǔ)義敏感的視覺(jué)辭典。首先,該算法提出了特征空間的密度-散度估計(jì)過(guò)程,在具有某類(lèi)標(biāo)簽的圖像集合中將標(biāo)簽從圖像傳播到感興趣點(diǎn)上。其次,該算法將有監(jiān)督的視覺(jué)辭典建模為隱馬爾科夫隨機(jī)場(chǎng),其中觀測(cè)場(chǎng)代表局部描述子集合,而隱場(chǎng)代表用戶(hù)標(biāo)簽監(jiān)督。隱場(chǎng)的監(jiān)督通過(guò)吉布斯分布作用于觀測(cè)場(chǎng)的局部描述子集合中,而有監(jiān)督量化過(guò)程則被視為帶隱場(chǎng)勢(shì)能影響的觀測(cè)場(chǎng)點(diǎn)集聚類(lèi)過(guò)程。同時(shí),我們采用WordNet對(duì)隱場(chǎng)中的語(yǔ)義標(biāo)簽相關(guān)性進(jìn)行建

8、模,從而更好地消除用戶(hù)標(biāo)簽的同義性噪聲。
　　在視覺(jué)辭典的輸出表達(dá)階段,提出了基于共生性視覺(jué)短語(yǔ)挖掘的辭典優(yōu)化學(xué)習(xí)算法。通過(guò)編碼局部描述子在圖像中的空間相對(duì)位置,生成共生視覺(jué)模式候選集合。進(jìn)而,提出一種基于Aprior引力距離的共生模式挖掘?qū)W習(xí),生成對(duì)于類(lèi)別敏感的二階視覺(jué)單詞組合。該二階單詞組合具有表達(dá)更稀疏,更具判決力的特質(zhì),從而縮減了傳統(tǒng)的,基于視覺(jué)詞包的表達(dá)的高維度問(wèn)題,獲取了更有判決力,維數(shù)更低的視覺(jué)局部描述。在視覺(jué)搜索與