基于上下文的RGB-D場景理解.pdf

1、在結(jié)合實際課題研究的基礎(chǔ)上，本文深入研究了RGB-D室內(nèi)場景中的物體檢測與點云標(biāo)注問題。本文工作的主要內(nèi)容及貢獻(xiàn)可以概括為如下幾個方面:
　　1.首先從跨模態(tài)特征學(xué)習(xí)這一角度出發(fā)，提出了一套基于雙模深度玻爾茲曼機的RGB-D場景物體檢測算法，實現(xiàn)了RGB和Depth兩個不同模態(tài)的跨模態(tài)特征學(xué)習(xí)。為實現(xiàn)RGB和Depth兩個不同模態(tài)的跨模態(tài)學(xué)習(xí)，我們采用了雙模深度玻爾茲曼機得到兩個不同模態(tài)的融合特征。為實現(xiàn)RGB-D場景中的物體魯棒

2、性檢測，采用3D滑動檢測的方法在3D點云中檢測物體。本章算法的輸入為單幀RGB-D圖像，RGB-D圖像由Kinect獲取并帶有重力方向信息。在檢測物體時，我們用3D包圍盒在點云中滑動，為計算每個3D包圍盒關(guān)于物體類別的得分，我們首先將RGB-D點云中的3D包圍盒投影到RGB-D參考幀上，分別在RGB圖像和Depth圖像上得到2D包圍盒。接著將2D包圍盒對應(yīng)的RGB數(shù)據(jù)和Depth數(shù)據(jù)輸入到預(yù)訓(xùn)練好的R-CNNs模型，得到包圍盒關(guān)于RGB

3、和Depth兩種模態(tài)的初始特征。然后將RGB和Depth兩種模態(tài)的初始特征輸入到本章設(shè)計的雙模DBM模型中，得到了3D包圍盒關(guān)于兩種模態(tài)的融合特征。再將融合特征輸入到樣例SVMs中得到3D包圍盒關(guān)于各個樣例SVM的得分。最后采用非極大值抑制算法，得到RGB-D點云中存在感興趣物體的3D包圍盒。本文提出的RGB-D室內(nèi)場景物體檢測算法框架創(chuàng)新主要在于雙模特征學(xué)習(xí)和3D魯棒檢測兩個方面。在RMRC上的實驗表明，本文提出的基于雙模深度玻爾茲曼

4、機的檢測算法能夠為RGB-D場景的理解學(xué)習(xí)到有用的特征。
　　2.針對RGB-D場景室內(nèi)場景中小物體標(biāo)注精度較低這一問題，提出了一套基于檢測的點云標(biāo)注框架。在此工作中，我們研究了點云分割以及幾何上下文信息對點云標(biāo)注的影響。在真實場景中，連續(xù)的、具有相近紋理的區(qū)域往往對應(yīng)著同一個物體。本文從這一事實出發(fā)，提出了一套基于檢測的3D點云室內(nèi)場景的標(biāo)注算法，將RGB-D點云參考幀上的檢測結(jié)果映射到點云分割塊上。該算法適用于由Kinect視

5、頻數(shù)據(jù)生成的RGB-D室內(nèi)點云場景。本文提出的這一套室內(nèi)點云標(biāo)注算法主要由點云分割和馬爾可夫模型構(gòu)建與求解兩部分組成。首先，利用3D重建技術(shù)由RGB-D視頻得到場景的RGB-D點云;然后，利用法向量、曲率以及顏色等信息將3D室內(nèi)點云分割為顏色、紋理一致的超體素;接著以超體素為節(jié)點并加入簡單空間幾何信息構(gòu)成成對關(guān)聯(lián)的馬爾可夫模型;最后通過圖割算法求解MRF得到RGB-D點云中個點對應(yīng)的物體類別標(biāo)簽。在RGB-D Object Datase

6、t上的實驗結(jié)果表明本文算法同對比算法相比的優(yōu)越性，說明了點云分割以及簡單的幾何上下文信息有助于提高點云標(biāo)注的表現(xiàn)。此部分的研究也表明，馬爾可夫模型在數(shù)據(jù)項有較高精度的情況下，平滑項才可以提高馬爾可夫模型的整體表現(xiàn)。
　　3.為提高RGB-D場景中物體檢測的精度，提出了一套基于上下文的RGB-D室內(nèi)場景理解模型。物體在場景的出現(xiàn)并非是隨機的，而是符合特定規(guī)律的。在真實世界中，物體和場景之間以及物體與物體之間具有一定的關(guān)聯(lián)。在給定場景

7、類別信息的情況下，我們能對場景中物體的檢測有更好的限制。為建模物體與物體之間以及物體與場景類別之間的上下文關(guān)系，我們提出了一套基于CRF的場景理解多任務(wù)模型。CRF模型中的節(jié)點由場景和潛在的物體組成。在模型學(xué)習(xí)與推導(dǎo)的過程中，采用主對偶學(xué)習(xí)框架學(xué)習(xí)CRF模型中的參數(shù)，采用近似推理的手段求取CRF模型能量函數(shù)最小時對應(yīng)的場景中各節(jié)點標(biāo)簽。通過在公用數(shù)據(jù)集NYUDv2上的實驗表明，本文提出的多任務(wù)模型可以提高RGB-D室內(nèi)場景物體檢測的水平