基于視頻流的人體行為識別方法研究.pdf

1、近些年來，隨著互聯(lián)網(wǎng)和多媒體技術(shù)的飛速發(fā)展，數(shù)字資源正處于指數(shù)式的增長狀態(tài)，數(shù)字視頻作為數(shù)字資源中的重要組成部分，已經(jīng)進(jìn)入人們生活的方方面面，如何對這些數(shù)字視頻中的人體行為進(jìn)行快速準(zhǔn)確的分類，成為了人們研究的熱點(diǎn)。本文針對上述問題展開，主要目標(biāo)是通過深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)技術(shù)提取視頻中的人體行為的時間特征與空間特征，實(shí)現(xiàn)對視頻中的人體行為快速準(zhǔn)確地分類。論文主要工作與成果如下:
　　(1)針對卷積神經(jīng)網(wǎng)絡(luò)在使用高質(zhì)量視頻時產(chǎn)生的

2、巨大計(jì)算量問題，本文提出了一種雙流殘差網(wǎng)絡(luò)(Twostream-ResNet，TS-ResNet)用來進(jìn)行人體行為識別。該算法首先使用殘差網(wǎng)絡(luò)構(gòu)造了空問識別流和時間識別流的雙流網(wǎng)絡(luò)結(jié)構(gòu)來提取視頻中的空間特征和時間特征，然后將這兩個特征融合后送入分類器分類，最后通過實(shí)驗(yàn)分析驗(yàn)證TS-ResNet增加了網(wǎng)絡(luò)的深度并提高了識別的準(zhǔn)確度，同時降低了算法的時間復(fù)雜度。在UCF101和HMDB51數(shù)據(jù)集上分別進(jìn)行實(shí)驗(yàn)，結(jié)果表明，與人工特征中表現(xiàn)最好

3、的iDT算法相比，TS-ResNet在UCF101數(shù)據(jù)集上要高0.35％，而在HMDB51數(shù)據(jù)集上提升了5.6％。與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)算法VLAD vector相比，TS-ResNet在UCF101數(shù)據(jù)集上要高2.05％，而在HMDB51數(shù)據(jù)集上提升了6.4％。
　　(2)針對傳統(tǒng)殘差網(wǎng)絡(luò)中獲得的特征魯棒性不夠的問題，提出了一種深度融合殘差網(wǎng)絡(luò)(deep fusion ResNet，DF-ResNet)。該算法拋棄了傳統(tǒng)殘差網(wǎng)絡(luò)中的

4、極深層網(wǎng)絡(luò)，使用了更多的中層深度網(wǎng)絡(luò)，增加了融合次數(shù)，提升了潛在的基礎(chǔ)網(wǎng)絡(luò)組合數(shù)目，從而提高了整體網(wǎng)絡(luò)的性能。實(shí)驗(yàn)分析驗(yàn)證提出的DF-ResNet能夠提供比傳統(tǒng)的殘差網(wǎng)絡(luò)更高的準(zhǔn)確度。將DF-ResNet在UCF101和HMDB51數(shù)據(jù)集上實(shí)驗(yàn)，結(jié)果表明，與傳統(tǒng)殘差網(wǎng)絡(luò)相比，DF-ResNet在兩個數(shù)據(jù)集上的準(zhǔn)確度分別提高了0.6％和1％。
　　(3)在上述算法的基礎(chǔ)上，為了進(jìn)一步利用時間因素，本文提出雙流深度融合殘差網(wǎng)絡(luò)(Two