基于時(shí)空分析和多粒度特征表示的人體檢測(cè)方法研究.pdf

1、人體檢測(cè)逐漸成為近年來(lái)計(jì)算機(jī)視覺(jué)和模式識(shí)別領(lǐng)域中的一個(gè)研究熱點(diǎn)。其之所以備受關(guān)注，主要出于以下兩個(gè)原因：1）雖然人體檢測(cè)屬于一般對(duì)象識(shí)別的一個(gè)特例，但是由于其問(wèn)題本身具有一般性，從而使得對(duì)于該問(wèn)題的有效解決能夠?qū)ζ渌膶?duì)象識(shí)別問(wèn)題提供借鑒；2）應(yīng)用上的需求進(jìn)一步推動(dòng)了人體檢測(cè)方法的發(fā)展，例如在車載輔助預(yù)警系統(tǒng)、智能監(jiān)控系統(tǒng)、人機(jī)交互系統(tǒng)以及基于內(nèi)容的視頻/圖像管理系統(tǒng)中的應(yīng)用。
　　人體檢測(cè)中的難點(diǎn)問(wèn)題可以歸結(jié)為兩個(gè)方面，即低信噪

2、比和弱配準(zhǔn)。低信噪比是指人體數(shù)據(jù)中噪聲所占比例較大而能夠被用于對(duì)人體進(jìn)行判別的信息相對(duì)較少。弱配準(zhǔn)是指因人體形態(tài)上的差異而很難將人體的各個(gè)部分進(jìn)行比較好的對(duì)齊。這兩個(gè)難點(diǎn)問(wèn)題綜合作用結(jié)果就是人體數(shù)據(jù)具有非常大的類內(nèi)散度。針對(duì)于這兩個(gè)難點(diǎn)問(wèn)題，本文分別采用了時(shí)空分析和多粒度特征表示的技術(shù)路線，并且在此技術(shù)路線的指導(dǎo)下，從數(shù)據(jù)預(yù)處理和特征提取兩個(gè)方面提出了一系列人體檢測(cè)模型和方法。
　　論文的創(chuàng)新與主要貢獻(xiàn)總結(jié)如下：
　　(1)

3、本文提出了一種輪廓運(yùn)動(dòng)特征（Contour-Motion Feature, CMF）進(jìn)行魯棒的人體描述。該特征使用時(shí)-空輪廓作為人體的底層描述，然后利用3維的距離變換來(lái)將1維的輪廓信息擴(kuò)展到3維的空間中。通過(guò)這種方式，局部輪廓之間的關(guān)系可以被隱式的進(jìn)行表達(dá)。通過(guò)使用3維的Haar特征對(duì)于靜態(tài)和動(dòng)態(tài)的特征進(jìn)行統(tǒng)一的封裝，可以進(jìn)一步得到人體的中層的表達(dá)：運(yùn)動(dòng)輪廓特征。最后利用Boosting的方法來(lái)選擇具有最強(qiáng)判別能力的特征用于分類。實(shí)驗(yàn)結(jié)

4、果表明，該方法可以比其他同類方法具有更好的檢測(cè)性能和可擴(kuò)展性。此外，盡管該方法是在人體檢測(cè)的背景下提出的，該方法還進(jìn)一步被用于行為分析中，并且取得了較好的結(jié)果。
　　(2)本文提出了一種多粒度特征表示方法，稱為粒度可變的方向劃分描述子（Granularity-tunable Gradients Partition, GGP）。針對(duì)人體數(shù)據(jù)難以進(jìn)行配準(zhǔn)的問(wèn)題，本文提出了人體的多粒度特征表示方法。這里粒度這個(gè)概念表示特征對(duì)于數(shù)據(jù)的抽象

5、能力：精細(xì)粒度特征對(duì)于數(shù)據(jù)有較低程度的抽象，具有比較好的細(xì)節(jié)描述能力，適合用于對(duì)數(shù)據(jù)進(jìn)行確定性的描述；而粗糙粒度的特征對(duì)于數(shù)據(jù)有較高程度的抽象，其所體現(xiàn)的通常是一種統(tǒng)計(jì)特性。因此，多粒度特征描述意味著可以對(duì)人體數(shù)據(jù)進(jìn)行不同層次的抽象，從而得到從確定性描述到統(tǒng)計(jì)性描述的一系列的具有不同描述特性人體表示。
　　本文在霍夫空間中對(duì)于直線的定義進(jìn)行了擴(kuò)展，將直線對(duì)于旋轉(zhuǎn)和平移的不確定性顯式的體現(xiàn)在直線的定義當(dāng)中，并稱這類直線為廣義直線，其

6、旋轉(zhuǎn)和平移的不確定性為粒度參數(shù)。進(jìn)一步該廣義直線被作為基元，對(duì)人體數(shù)據(jù)進(jìn)行解析。通過(guò)調(diào)整粒度參數(shù)，描述子可以在不同描述特性之間切換。在精細(xì)粒度的一端，GGP可以變?yōu)橐环N確定性的描述，如Edgelet；而在粗糙粒度的一端，GGP可以變?yōu)橐环N具有統(tǒng)計(jì)特性的描述子，如梯度方向直方圖（Histograms of Oriented Gradients，HOG）。同時(shí)，梯度的位置、方向、強(qiáng)度和分布信息也被編碼到描述子的特征向量當(dāng)中，這樣可以進(jìn)一步增

7、強(qiáng)特征的表述能力。在INRIA的人體數(shù)據(jù)庫(kù)上的評(píng)測(cè)結(jié)果表明，該方法可以達(dá)到與當(dāng)前領(lǐng)先的方法相當(dāng)?shù)臋z測(cè)水平，但是因?yàn)樵摲椒ㄖ械奶卣骱腿醴诸惼鞫际蔷€性的，所以在速度和計(jì)算復(fù)雜度上較其他方法更有優(yōu)勢(shì)。
　　(3)本文提出了一種多粒度特征表示與時(shí)空分析相結(jié)合的人體檢測(cè)方法，稱為時(shí)-空域粒度可變的方向劃分描述子（Spatial-Temporal Granularity-tunable Gradients Partition, STGGP）。

8、這種描述子融合了時(shí)空分析與多粒度特征表示的優(yōu)勢(shì)，因而具有更強(qiáng)的描述能力。根據(jù)時(shí)間信息與空間信息的相關(guān)性不同，提出了3種STGGP描述子的具體實(shí)現(xiàn)。
　　在第一種實(shí)現(xiàn)中，不考慮運(yùn)動(dòng)信息與外觀信息之間的相關(guān)性，將運(yùn)動(dòng)信息用光流梯度場(chǎng)表示，只將其與外觀信息進(jìn)行簡(jiǎn)單的串接，這種描述子稱為基于光流梯度場(chǎng)的STGGP描述子，用STGGP of表示；在第二種實(shí)現(xiàn)中，用時(shí)空體上相互正交的3個(gè)切平面來(lái)表示三個(gè)坐標(biāo)軸兩兩之間的相關(guān)性，并在這三個(gè)平面上

9、分別提取多粒度特征，這種描述子稱為基于時(shí)-空切平面的STGGP描述子，用STGGP op表示；在第三種實(shí)現(xiàn)中，充分考慮人體運(yùn)動(dòng)過(guò)程中的時(shí)-空相關(guān)性，將人體及其運(yùn)動(dòng)看作是3維空間中的一個(gè)實(shí)體，并且在3維霍夫空間中定義廣義平面對(duì)其進(jìn)行解析，稱這種描述子為基于3維霍夫變換的STGGP描述子，用STGGP3h表示。最后，將STGGP描述子用于人體檢測(cè)和行為識(shí)別，實(shí)驗(yàn)結(jié)果表明，STGGP描述子較其他算法具有較明顯的優(yōu)勢(shì)。
　　(4)為了進(jìn)一

10、步提高人體檢測(cè)的速度和精度，本文將背景建模和運(yùn)動(dòng)檢測(cè)也作為一個(gè)研究?jī)?nèi)容，并將其作為人體檢測(cè)的預(yù)處理過(guò)程，以達(dá)到縮小檢測(cè)區(qū)域、減少誤檢的目的。提出了一種基于非參數(shù)模型的背景建模方法用于運(yùn)動(dòng)目標(biāo)檢測(cè)，以此來(lái)降低人體檢測(cè)的誤檢率及提高檢測(cè)速度。首先，引入了一個(gè)新的模型，影響因素描述模型（Effect Components Description, ECD)，來(lái)對(duì)背景的變化進(jìn)行建模。通過(guò)這個(gè)模型，可以將背景模型最好的估計(jì)與其分布的眾數(shù)相關(guān)聯(lián)。在

11、ECD的基礎(chǔ)上，進(jìn)一步提出了一個(gè)有效的背景生成方法：可靠背景模型（Most Reliable Background Model, MRBM）。在MRBM生成的過(guò)程中，運(yùn)用mean shift來(lái)迭代找到每個(gè)像素的分布的眾數(shù)。該方法的優(yōu)勢(shì)主要體現(xiàn)在三個(gè)方面：首先，非參數(shù)模型可以較好的處理多峰分布數(shù)據(jù)，該方法不需要純凈的背景作為訓(xùn)練，可以用于有復(fù)雜運(yùn)動(dòng)物體的情況下的背景模型的生成；其次，生成的背景圖像質(zhì)量較高，可以減輕圖像中由于壓縮導(dǎo)致的塊效