基于特征學(xué)習(xí)的人體目標(biāo)檢測和分析.pdf

1、人體目標(biāo)檢測和分析是計算機視覺和模式識別領(lǐng)域最熱門的研究方向之一，在視頻安全監(jiān)控、智能安全駕駛、智能機器人等領(lǐng)域有著廣泛的應(yīng)用前景和市場需求。該課題主要研究人“在哪里”、“干什么”、“多少人”這幾個問題，利用計算機技術(shù)分析圖像或視頻中人的位置、識別其行為以及粗略地統(tǒng)計人數(shù)，分別對應(yīng)于計算機視覺中的行人檢測、行為識別和人群計數(shù)任務(wù)。人體目標(biāo)檢測和分析任務(wù)在很大程度上依賴于對圖像或視頻內(nèi)容的理解和表示，所以如何生成辨識能力強的特征表示（即特

2、征學(xué)習(xí)）成為關(guān)鍵問題之一。傳統(tǒng)方法主要是提取圖片的邊緣、顏色、形狀等底層特征描述子，并結(jié)合詞包模型、稀疏編碼模型等框架，生成最終特征描述的列向量。雖然這些方法簡單有效，但是已經(jīng)無法滿足多目標(biāo)相互遮擋、復(fù)雜噪聲背景情況下的特征表達。近年來，國內(nèi)外很多研究機構(gòu)和高校展開深入研究并取得一定進展，但是，仍然存在很多問題需要解決。本文針對人體目標(biāo)檢測和分析任務(wù)，圍繞特征學(xué)習(xí)的相關(guān)問題，結(jié)合稀疏編碼、多核學(xué)習(xí)、深度學(xué)習(xí)等知識，研究如何生成具有較強代

3、表性和區(qū)分性的特征表示。本文的主要工作和貢獻總結(jié)如下:
　　(1)提出一種新的shallow-deep特征用于行人檢測任務(wù)。傳統(tǒng)的ACF檢測器采用HOG+LUV特征通道結(jié)合Adaboost分類器。然而，僅使用簡單的邊緣、顏色信息作為特征，忽略高層的語義信息和上下文信息，會降低特征表達能力。因此本文提出將深度語義分割特征圖融入到ACF的淺層特征通道中，shallow-deep特征同時融合了圖像的淺層外觀信息和高層語義信息。此外原始A

4、CF檢測器僅采用簡單的求和池化方法，忽略大量有效信息，我們手工設(shè)計各種不同方向的checkboard-like濾波器對特征圖做卷積操作，濾波后的通道響應(yīng)可以捕捉更多高層抽象信息，從而生成辨識能力更強的特征表示。實驗結(jié)果表明，本文提出的濾波后的shallow-deep特征可以提高行人檢測的精度。
　　(2)提出一種RG-MKL多核學(xué)習(xí)的方法融合多區(qū)域多層深度特征，用于行為識別任務(wù)。人體區(qū)域的特征描述給行為識別提供了關(guān)鍵信息，如何合理

5、利用人體區(qū)域的核心特征和整張圖像區(qū)域的上下文特征是一個開放性的問題。我們提出一種多核學(xué)習(xí)算法RG-MKL來融合這兩個區(qū)域的特征，不僅融入了預(yù)學(xué)習(xí)分類器對樣本的判別能力，還整合了我們對人體區(qū)域和整張圖像區(qū)域特征區(qū)分能力的先驗認識。此外，為了提高特征表示能力，我們采用多層深度特征，不僅吸收了傳統(tǒng)two-stream模型的全連接層信息，而且融入了卷積層的強響應(yīng)特征，比一般的全連接層或者softmax層的特征描述能力更強。實驗結(jié)果表明，本文提出

6、的RG-MKL融合多區(qū)域多層深度特征方法，能夠提高算法對視頻行為的表示能力和分類能力，從而提高行為識別精度。
　　(3)提出一種依賴于方向的特征DDFP并采用非負低秩稀疏編碼模型來編碼，用于行為識別任務(wù)?；诰植繒r空興趣點的行為識別方法中，單一興趣點的描述子不能反映特征點之間的時間先后和空間位置關(guān)系，并且傳統(tǒng)的稀疏編碼會導(dǎo)致編碼不一致性和信息缺失的問題?；诖?，本文考慮興趣點之間的時空關(guān)系，連接每個興趣點和鄰居點的描述子并根據(jù)兩個

7、點之間的時空關(guān)系賦予方向標(biāo)簽，構(gòu)建依賴于方向的特征對。該特征作為新的局部描述子，不僅能夠描述興趣點在三維空間內(nèi)的時空相對關(guān)系，而且可以描述上下文的外觀特征，比傳統(tǒng)的局部描述子表達能力更強。此外我們還提出一種非負低秩稀疏編碼方法來編碼新的特征，我們認為來自同一個方向的特征對存在一定的相似性，低秩項能夠在一定程度上使得相似的特征對產(chǎn)生相似的編碼，同時非負項能避免沒有物理意義的負數(shù)編碼值產(chǎn)生。實驗結(jié)果表明，相比于傳統(tǒng)的局部時空興趣點方法，依賴

8、于方向的特征對結(jié)合非負低秩稀疏編碼模型能夠提高行為識別的精度。
　　(4)提出一種基于高層語義屬性的局部特征用于人群計數(shù)任務(wù)?；诨貧w的人群計數(shù)方法大多采用全局前景分割特征來描述視頻中每幀圖片信息，忽略了具有描述圖像高層語義能力的屬性特征，而目前很少有文獻做相關(guān)研究?？紤]到語義分割特征圖的每個像素點反映場景各個屬性的概率分布，能夠更好地描述上下文語義特征，因此本文嘗試使用語義分割特征圖來描述圖像;同時，為了利用局部位置信息，我們進