基于高階CRFs和稀疏字典學(xué)習(xí)的場(chǎng)景語(yǔ)義解析.pdf

1、圖像語(yǔ)義標(biāo)注作為場(chǎng)景理解中的一個(gè)基本問(wèn)題，已成為計(jì)算機(jī)視覺領(lǐng)域研究的熱點(diǎn)；并廣泛應(yīng)用于探險(xiǎn)搜索、自動(dòng)導(dǎo)航、安全防護(hù)、醫(yī)療護(hù)理等領(lǐng)域，具有重要的學(xué)術(shù)研究和工程應(yīng)用價(jià)值。于是，本文設(shè)計(jì)了一種基于高階條件隨機(jī)場(chǎng)(CRFs)和稀疏字典學(xué)習(xí)的場(chǎng)景語(yǔ)義標(biāo)注框架。首先，利用融合深度的多尺度分層過(guò)分割法獲得場(chǎng)景的超像素區(qū)域；接著，利用融合區(qū)域級(jí)多模態(tài)感知線索特征的二階CRFs模型，實(shí)現(xiàn)基于自底向上區(qū)域級(jí)表達(dá)的圖像場(chǎng)景標(biāo)注；然后，利用不同類別統(tǒng)計(jì)先驗(yàn)約束

2、判別性視覺特征的稀疏字典表示，構(gòu)成基于判別性稀疏字典學(xué)習(xí)的高階CRFs模型，實(shí)現(xiàn)基于自頂向下語(yǔ)義類別判別成本約束的場(chǎng)景語(yǔ)義標(biāo)注。
　　針對(duì)目前快速的非監(jiān)督過(guò)分割方法在復(fù)雜場(chǎng)景中難于獲得與目標(biāo)物體的一致性邊緣，本文提出采用基于多源感知多尺度組合成組的全局概率邊緣超度量圖(gpb-ucm)分層方法進(jìn)行過(guò)分割待標(biāo)注的RGB-D場(chǎng)景。首先，利用場(chǎng)景中圖像色彩、紋理及深度等感知線索，基于gpb-ucm分割法進(jìn)行多尺度分層過(guò)分割得到不同尺度下

3、的過(guò)分割區(qū)域圖；然后，基于投影變換配準(zhǔn)每個(gè)尺度的過(guò)分割區(qū)域圖；最后，融合合并各個(gè)尺度配準(zhǔn)下的過(guò)分割區(qū)域的邊緣權(quán)值，以實(shí)現(xiàn)合成最終的分層分割區(qū)域圖。NYU Depth V2數(shù)據(jù)集上實(shí)驗(yàn)表明，基于深度信息和多尺度融合改進(jìn)過(guò)分割法，能提升劃分待解析場(chǎng)景超像素區(qū)域的目標(biāo)物體邊緣性能，為后續(xù)基于以超像素分割區(qū)域?yàn)楣?jié)點(diǎn)的概率圖模型的語(yǔ)義標(biāo)注框架提供緊湊且可靠的場(chǎng)景結(jié)構(gòu)表達(dá)。
　　鑒于傳統(tǒng)場(chǎng)景語(yǔ)義標(biāo)注方案中單一模態(tài)局部特征的表達(dá)能力欠佳和局部特

4、征信息難于捕獲上下文語(yǔ)義標(biāo)簽之間有效依賴的問(wèn)題，本文提出一種基于自底向上多模態(tài)特征融合的二階CRFs模型建模場(chǎng)景上下文關(guān)系的圖像語(yǔ)義標(biāo)注方法。首先，以即得場(chǎng)景過(guò)分割區(qū)域?yàn)楣?jié)點(diǎn)，分別提取并歸一化以顏色驅(qū)動(dòng)的核描述子外觀特征和以深度驅(qū)動(dòng)的HHA幾何特征。接著，拼接各個(gè)超像素區(qū)域節(jié)點(diǎn)即得的歸一化多模態(tài)視覺特征向量；利用支持向量機(jī)(SVM)分類器判別超像素區(qū)域相應(yīng)的語(yǔ)義類別得分作為該CRFs模型中各節(jié)點(diǎn)的一元項(xiàng)勢(shì)能；以相鄰超像素過(guò)分割區(qū)域中LU

5、V空間色彩特征差異為該CRFs模型中鄰域邊的成對(duì)項(xiàng)勢(shì)能，自底向上構(gòu)建待解析場(chǎng)景區(qū)域級(jí)表示的概率圖模型。然后，在結(jié)構(gòu)化支持向量機(jī)框架SSVM下，最小化訓(xùn)練集中基準(zhǔn)標(biāo)注圖與基于該CRFs推斷的標(biāo)注圖之間的誤差，基于BCFW(Block Coordinate Frank-Wolfe)優(yōu)化方法學(xué)習(xí)該二階CRFs模型參數(shù)。最后，給定CRFs模型和測(cè)試圖像時(shí)，在最大化后驗(yàn)概率MAP框架下，基于圖分割方法推斷待解析場(chǎng)景的語(yǔ)義標(biāo)注結(jié)果。NYU Dept

6、h V2數(shù)據(jù)集上的實(shí)驗(yàn)表明，基于深度信息和多模態(tài)特征融合的二階CRFs模型標(biāo)注框架，能解析推斷出視覺表現(xiàn)力更強(qiáng)、標(biāo)注準(zhǔn)確率更高的語(yǔ)義標(biāo)注圖。
　　為了克服場(chǎng)景標(biāo)注中局部上下文信息難以捕獲長(zhǎng)距離超像素區(qū)域視覺表達(dá)和目標(biāo)對(duì)象之間的相互依賴關(guān)系的問(wèn)題，本文提出一種基于自頂向下判別性稀疏字典學(xué)習(xí)高階條件隨機(jī)場(chǎng)模型的圖像標(biāo)注方法。首先，按照每個(gè)不同語(yǔ)義類別，分別提取相應(yīng)過(guò)分割區(qū)域中的視覺特征；采用字典學(xué)習(xí)方法稀疏編碼每個(gè)類別的視覺特征，以初

7、始化各個(gè)特定類別的相應(yīng)稀疏字典；在上述二階CRFs模型標(biāo)注基礎(chǔ)上，引入每一語(yǔ)義類的稀疏編碼子直方圖高階約束成本，構(gòu)建基于自頂向下高階CRFs的標(biāo)注模型。然后，在結(jié)構(gòu)化支持向量機(jī)框架SSVM下，最小化訓(xùn)練集中基準(zhǔn)標(biāo)注圖與高階CRFs模型推斷的標(biāo)注圖之間的誤差過(guò)程中，先固定高階CRFs模型參數(shù)基于梯度下降法遞進(jìn)式學(xué)習(xí)相應(yīng)稀疏字典表示；后固定稀疏字典基于BCFW優(yōu)化方法進(jìn)行交替式學(xué)習(xí)高階CRFs模型參數(shù)。最后，給定高階CRFs模型和測(cè)試圖像時(shí)