異質(zhì)數(shù)據(jù)融合的道路場景語義理解.pdf

1、基于計算機視覺的道路場景語義理解是自主車等智能應(yīng)用的關(guān)鍵性支撐研究。為了增強自主車的環(huán)境理解能力，研究者們致力于彩色攝像機和激光雷達的異質(zhì)數(shù)據(jù)融合的道路場景語義理解研究。由于激光雷達數(shù)據(jù)分辨率相對較低，如何與攝像機數(shù)據(jù)進行融合并獲得像素分辨率的語義理解結(jié)果成為了研究的難點之一。其次，合理利用場景語義理解中子問題間的關(guān)系進行聯(lián)合建模求解，也是提升自主車環(huán)境理解能力的熱門研究方向。然而，聯(lián)合問題中模型復(fù)雜度高、變量維數(shù)大帶來的求解困難，一直

2、是研究的難點。此外，在場景序列語義理解中，如何描述變量間在時間上高階且不對稱的關(guān)系，并獲得更準確、時序上一致性更高的理解結(jié)果，成為該研究的第三個難點。
　　基于上述研究背景和難點問題，本博士學(xué)位論文主要研究彩色攝像機和激光雷達的異質(zhì)數(shù)據(jù)融合的道路場景語義理解，通過異質(zhì)數(shù)據(jù)在不同層次的融合、合理地聯(lián)合建模與求解，以及構(gòu)建描述變量在時、空上一致性關(guān)系的混合圖模型，獲得了更為準確、時序上一致性更高、具有像素分辨率的道路場景語義理解結(jié)果。

3、
　　本文的主要內(nèi)容和貢獻如下：
　　1、提出了一種異質(zhì)數(shù)據(jù)融合的道路場景在線目標級圖像分割方法。以往方法僅在特征層或決策層進行融合，并獲得低于像素分辨率的分割結(jié)果。我們的方法不僅實現(xiàn)了特征層和決策層的數(shù)據(jù)融合，而且獲得像素分辨率的分割結(jié)果。其中特征層的融合，通過對激光雷達點稀疏深度圖的升采樣方法實現(xiàn)。決策層的融合主要體現(xiàn)在兩個方面:一方面通過激光雷達數(shù)據(jù)獲得目標假設(shè)的種子點，實現(xiàn)了在線的目標檢測和目標級圖像分割;另一方面在

4、構(gòu)建的圖模型中添加了基于種子點的硬約束，提升了圖像分割的效果。
　　2、有別于傳統(tǒng)聯(lián)合求解問題只包含離散取值的標簽，提出了一種聯(lián)合建模求解離散取值標簽與連續(xù)取值標簽的方法。構(gòu)建的聯(lián)合模型使用交替方向法(Alternating Direction Method，ADM)進行迭代求解，其中連續(xù)取值標簽可以通過一種線性計算方法獲得。該方法應(yīng)用于道路場景下離散取值的目標標簽與連續(xù)取值的深度標簽的聯(lián)合建模求解中，較好地解決了以往離散取值深度

5、標簽求解復(fù)雜度高、深度結(jié)果精度損失的問題。實驗表明，該方法能獲得與以往方法相比更為準確的圖像分割與深度升采樣結(jié)果。
　　3、提出了一種異質(zhì)數(shù)據(jù)融合的道路場景目標級圖像分割與語義標注聯(lián)合建模求解的方法。在決策層數(shù)據(jù)融合中，通過激光雷達三維點的目標假設(shè)獲得圖像二維目標假設(shè)檢測框，避免了以往方法中對目標檢測的離線訓(xùn)練以及對整張圖像窗口式的目標搜索。與以往復(fù)雜的聯(lián)合模型不同，該聯(lián)合模型滿足半度量的約束，可以使用快速有效的圖割算法進行求解。

6、實驗表明，該方法能同時提升目標級圖像分割以及語義標注的效果。
　　4、有別于傳統(tǒng)的概率圖模型，構(gòu)建了混合圖模型用于解決道路場景序列圖像語義標注問題。其中，用簡單邊描述單幀內(nèi)相鄰變量間的空間關(guān)系，用超邊描述變量間在時間上高階、不對稱的關(guān)系。該模型較好地克服了包含高階能量項的簡單圖模型難以求解，以及簡單邊描述能力局限的缺點。此外，為了將基于混合圖的分割問題推廣為語義標注問題，我們在模型中添加了經(jīng)驗式的損失函數(shù)。該混合圖模型在求解上被轉(zhuǎn)