視頻動作識別中的深度特征融合方法與注意力模型研究.pdf

1、視頻動作識別中的深度特征融合方法與視頻動作識別中的深度特征融合方法與注意力模型研究注意力模型研究DeepFeatureFusionAttentionModelsfVideoActionRecognition學科專業(yè)：計算機科學與技術(shù)專業(yè)作者姓名：趙士超指導教師：韓亞洪副研究員天津大學計算機科學與技術(shù)學院二零一六年十一月I摘要視頻內(nèi)容的動作識別在計算機視覺領(lǐng)域是一項重要研究課題，也是目前非常有挑戰(zhàn)性的熱點問題，其中包含了計算機視覺、模式識

2、別、人工智能等多個學科。隨著視頻數(shù)據(jù)的急速膨脹，視頻的內(nèi)容分類吸引了人們的注意力，這項任務對于監(jiān)控視頻、行為檢測、異常事件預警、虛擬現(xiàn)實等多種場景具有學術(shù)領(lǐng)域的理論研究指導意義和巨大的商業(yè)價值。在早期做動作識別這一任務主要是利用視頻圖像的底層特征進行量化處理，具體可以分為三步操作：（1）視頻幀的預處理和局部特征的提取；（2）特征池化并量化；（3）基于量化后特征進行分類器訓練。運用傳統(tǒng)方法做動作識別任務的方法中，使用改進的密集軌跡特征并且

3、進行費舍爾量化是當前最好的方法，在多個公開的數(shù)據(jù)集中取得最出色的性能。然而，這種傳統(tǒng)特征還是存在多方面的問題，例如特征的存儲空間過大，提取時間太慢無法滿足實時需要，性能提升遇到瓶頸等問題。隨著近些年數(shù)據(jù)量的爆炸式的增長，和深度學習在計算機視覺領(lǐng)域的異軍突起。深度學習方法已經(jīng)在多個計算機視覺領(lǐng)域相比傳統(tǒng)方法性能大幅度的提升。然而，動作識別的這個領(lǐng)域卻是一個特例，深度學習在動作視頻分類領(lǐng)域進展相對緩慢，這主要是由于現(xiàn)有的標注視頻數(shù)據(jù)較少，且

4、視頻相比于圖像包含的信息更加復雜，無法像訓練圖片分類問題那樣訓練出一個有性能優(yōu)勢的視頻分類網(wǎng)絡。這種現(xiàn)象也突顯了視頻動作識別的復雜性，同時深度學習的方法有其特有的優(yōu)勢，所以研究者們都在不懈的探索，期待深度學習能在這一領(lǐng)域有突破性的進展，本文也是基于深度學習框架處理視頻動作識別的研究?；谏疃葘W習的方法和最新的進展，文章也提出兩方面的探索：（1）傳統(tǒng)視覺特征與深度特征融合的動作識別方法；（2）注意力模型的深度學習識別方法。第一種方法充分利