搜救現(xiàn)場人體的旋轉(zhuǎn)不變視覺檢測方法研究.pdf

1、救援機(jī)器人在戰(zhàn)場或?yàn)?zāi)后救援工作中的作用日益凸顯，其廣泛采用的視覺傳感器能夠提供豐富的環(huán)境和目標(biāo)信息。如何充分利用視覺傳感器這一最接近人類的感知媒介，輔以合理有效的算法實(shí)現(xiàn)搜救現(xiàn)場人體的自主檢測，是提高機(jī)器自主、提升作業(yè)效率的關(guān)鍵，有著巨大的理論意義與應(yīng)用價(jià)值。
　　與保持直立狀態(tài)的行人相比，搜救現(xiàn)場中的人體目標(biāo)位姿變化更為復(fù)雜，其中最根本的不同在于人體目標(biāo)與成像設(shè)備之間有著不確定的平面旋轉(zhuǎn)角度。論文分別以圖像特征構(gòu)建、分類策略優(yōu)化

2、、旋轉(zhuǎn)不變語義描述為切入點(diǎn)，開展復(fù)雜目標(biāo)的旋轉(zhuǎn)不變檢測方法研究，有效解決了搜救現(xiàn)場人體檢測中的旋轉(zhuǎn)問題，取得了如下研究成果：
　　1.基于行人檢測領(lǐng)域中應(yīng)用最成功的方向梯度直方圖（Histograms of Oriented Gradients，HOG）特征，開展了適用于復(fù)雜目標(biāo)旋轉(zhuǎn)不變檢測的圖像特征研究。首先，在梯度方向定義方面，摒棄了HOG特征中的固定坐標(biāo)系，使用動(dòng)態(tài)的局部徑向－切向坐標(biāo)系作為像素點(diǎn)梯度方向計(jì)算的參考坐標(biāo)系，使

3、得各像素點(diǎn)梯度方向在圖像旋轉(zhuǎn)過程中保持不變；然后，在空域采樣方面，以檢測窗中心為原點(diǎn)構(gòu)建極坐標(biāo)系，使用扇環(huán)作為空域采樣的最小單元，使得圖像旋轉(zhuǎn)對最終特征的影響僅限于相位差異，而該差異可以通過向量的循環(huán)移位進(jìn)行彌補(bǔ)；最后，對 HOG特征中梯度插值和高斯權(quán)重窗口的實(shí)現(xiàn)過程進(jìn)行調(diào)整，以適用于新特征的空域采樣設(shè)置。由于新特征的最小采樣單元為扇環(huán)形，因此稱為扇環(huán)狀方向梯度直方圖（Sector-ring HOG，SRHOG）。在實(shí)驗(yàn)部分，我們將SR

4、HOG特征與線性支持向量機(jī)（linear Support Vector Machine，linear SVM）結(jié)合，應(yīng)用在INRIA行人數(shù)據(jù)集、INRIA128×128行人數(shù)據(jù)集以及 VD01搜救現(xiàn)場人體數(shù)據(jù)集中。實(shí)驗(yàn)結(jié)果表明：SRHOG特征具有與HOG特征相當(dāng)?shù)男腥俗R(shí)別能力，并能在搜救現(xiàn)場人體檢測中優(yōu)于其他先進(jìn)的行人檢測方法。
　　2.將增強(qiáng)隨機(jī)蕨（Boosted Random Ferns，BRFs）算法與SRHOG特征相結(jié)合，

5、開展了適用于復(fù)雜目標(biāo)的旋轉(zhuǎn)不變檢測策略研究。首先，在SRHOG特征空間內(nèi)定義局部二值特征和特征蕨，并使用連續(xù)Adaboost算法篩選識(shí)別能力較強(qiáng)的蕨組成最終的強(qiáng)分類器，獲得SRHOG-based BRFs檢測方法。然后，在此基礎(chǔ)上提出兩種目標(biāo)旋轉(zhuǎn)不變檢測策略：“多方向檢測”策略和“方向估計(jì)”檢測策略。其中前者完全基于SRHOG特征對旋轉(zhuǎn)目標(biāo)語義描述的便利性，使用向量的循環(huán)移位代替圖像旋轉(zhuǎn)，完成對圖像的多方向檢測；后者引入了方向估計(jì)環(huán)節(jié)，

6、只在預(yù)測方向上對圖像進(jìn)行檢測。最后，我們還在兩種檢測策略之初加入了窗口初篩環(huán)節(jié)，用于對待測圖片的背景信息過濾，減少后續(xù)操作計(jì)算量。為了便于對比其他文獻(xiàn)研究，實(shí)驗(yàn)在Freestyle Motocross公開數(shù)據(jù)集中開展，對SRHOG-based BRFs方法的目標(biāo)識(shí)別能力以及兩種檢測策略的旋轉(zhuǎn)問題處理能力進(jìn)行評(píng)價(jià)。結(jié)果表明，我們的方法均能獲得與其他先進(jìn)方法相當(dāng)?shù)臋z測結(jié)果，并且實(shí)現(xiàn)簡單，更加適用于搜救機(jī)器人等計(jì)算能力有限的輕型平臺(tái)；兩種檢測

7、策略中，“多方向檢測”策略能夠搜尋到更多的旋轉(zhuǎn)目標(biāo)，“方向估計(jì)”檢測策略則能夠預(yù)測更精確的目標(biāo)位姿方向。
　　3.結(jié)合旋轉(zhuǎn)不變HOG（Rotation-Invariant HOG，RIHOG）特征和視覺詞包（Bag of Visual Words，BoVWs）模型，開展了適用于復(fù)雜目標(biāo)的旋轉(zhuǎn)不變語義描述方法研究。針對現(xiàn)有旋轉(zhuǎn)不變特征識(shí)別力不強(qiáng)的特點(diǎn)，借鑒了 HOG特征從局部特征中獲取全局描述的思想，將全局特征描述分成底層特征計(jì)算和

8、中層語義提取兩個(gè)環(huán)節(jié)，分別采用 RIHOG特征和 BoVWs模型進(jìn)行實(shí)現(xiàn)。RIHOG-BoVWs方法能夠在保證旋轉(zhuǎn)不變描述的前提下，捕捉目標(biāo)的局部特性，具有較其他旋轉(zhuǎn)不變特征更強(qiáng)的識(shí)別能力。實(shí)驗(yàn)部分，將RIHOG-BoVWs語義描述方法與 linear SVM結(jié)合，應(yīng)用于Freestyle Motocross公開數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果顯示，RIHOG-BoVWs方法能夠在非旋轉(zhuǎn)目標(biāo)檢測中獲得與HOG特征相當(dāng)?shù)臋z測效果，并在旋轉(zhuǎn)目標(biāo)檢測中遠(yuǎn)優(yōu)于

9、HOG特征，充分驗(yàn)證了RIHOG-BoVWs方法用于復(fù)雜目標(biāo)語義描述的可行性以及處理平面旋轉(zhuǎn)問題的優(yōu)越性。同時(shí)，RIHOG-BoVWs方法具有良好的區(qū)域特征平移不變性，能夠降低對待測圖片進(jìn)行滑窗搜尋時(shí)的計(jì)算復(fù)雜度，大幅度提升檢測效率。
　　4.針對災(zāi)后傷員搜尋的實(shí)用化需求，開展了搜救現(xiàn)場中的人體旋轉(zhuǎn)不變檢測實(shí)驗(yàn)研究。分別模擬無人機(jī)和地面機(jī)器人的任務(wù)視角，構(gòu)建了兩個(gè)具有不同復(fù)雜度的搜救現(xiàn)場人體數(shù)據(jù)集，用于對前述旋轉(zhuǎn)不變檢測方法的評(píng)價(jià)

10、。結(jié)果表明， linear SVM+RIHOG-BoVWs和linear SVM+SRHOG的檢測結(jié)果均優(yōu)于其他方法。由于無人機(jī)和地面機(jī)器人視角下人體形態(tài)特點(diǎn)的差異，兩數(shù)據(jù)集中各方法的表現(xiàn)也不甚相同。對于無人機(jī)視角下的搜救現(xiàn)場人體數(shù)據(jù)集，linear SVM+RIHOG-BoVWs和linear SVM+SRHOG方法檢測效果相當(dāng)，遠(yuǎn)優(yōu)于其他方法；對于地面機(jī)器人視角下的搜救現(xiàn)場人體數(shù)據(jù)集，linear SVM+SRHOG方法則表現(xiàn)最好。

11、此外，在所有方法中，linear SVM+RIHOG-BoVWs檢測速度最快，檢測耗時(shí)僅為HOG特征的一半左右。
　　綜上所述，本論文圍繞搜救現(xiàn)場中的人體旋轉(zhuǎn)不變檢測問題，提出了一種圖像特征SRHOG，兩種使用SRHOG-based BRFs方法的檢測策略，以及一種旋轉(zhuǎn)不變語義描述方法RIHOG-BoVWs，并通過構(gòu)建無人機(jī)視角和地面機(jī)器人視角下的搜救現(xiàn)場人體數(shù)據(jù)集對各檢測方法進(jìn)行評(píng)價(jià)。結(jié)果顯示，本論文中提出的檢測方法均能獲得較其