復(fù)雜場景下基于中層語義表示的視頻異常事件檢測的研究.pdf

1、視頻異常事件檢測是指從視頻序列中發(fā)現(xiàn)由監(jiān)控目標(biāo)（人或汽車等）引起的和期望事件模型差別較大的事件，是智能監(jiān)控系統(tǒng)中的核心任務(wù)之一，近些年來已成為計算機視覺領(lǐng)域中的研究熱點。視頻異常事件檢測的實質(zhì)是分析原始視頻數(shù)據(jù)獲得事件在特定上下文中正?；虍惓５母邔诱Z義解釋。事件的底層特征描述子是異常事件檢測的基本視覺線索，然而，底層特征描述子的描述能力有限，與高層語義解釋之間仍然存在著較大的鴻溝。為了縮小這種語義鴻溝，增強事件的描述能力，提高檢測系統(tǒng)的

2、性能，有必要使用中層語義模型將以底層特征描述的事件建模成簡潔、魯棒、表達性和區(qū)分性更好的中層語義表示。本論文針對復(fù)雜場景中的干擾、異常因素的多重性、事件的內(nèi)在結(jié)構(gòu)復(fù)雜性、不確定性、上下文依靠性、手工特征的場景依賴性等一些難點問題，研究了如何設(shè)計一個有效的事件中層語義模型以提高事件的描述能力，以及探索研究一個基于表示學(xué)習(xí)的異常事件檢測系統(tǒng)，其主要研究思想描述如下：
　　1.提出了一種基于時空塊的梯度-中心矩（Gradient-cen

3、tral-moments，GCM）描述子作為底層特征。GCM描述子的提取不依賴于目標(biāo)檢測與跟蹤等在復(fù)雜場景中難以實現(xiàn)的操作，可以兼顧事件中的運動及表觀信息，計算高效，對于復(fù)雜場景中的事件描述及異常事件檢測十分有效。
　　2.設(shè)計了基于詞袋（Bag-of-words，BoW）表示的異常事件檢測方法。相對于底層特征描述子，BoW表示是簡潔的中層語義表示，具有更好的魯棒性、表達性與區(qū)分性。實驗結(jié)果的分析與對比證明，設(shè)計的方法能夠有效檢測

4、不同類型的異常事件，達到了較好的性能。
　　3.提出了一種基于結(jié)構(gòu)上下文詞袋（Bag-of-structural-context-words，BoSCW）表示的異常事件檢測方法。事件的BoSCW表示不僅具有 BoW表示的優(yōu)點，而且克服了BoW表示不能利用事件結(jié)構(gòu)上下文線索的不足，具有更好的表達性。實驗結(jié)果證明，本章方法較好的提升了檢測系統(tǒng)的性能。
　　4.提出了一種基于原子特征袋（Bag-of-atomic-features

5、，BoAF）表示的異常事件檢測方法。不同于常規(guī)特征袋模型中只將一個視覺詞分配給局部特征，BoAF模型使用稀疏編碼將超完備字典上的多個原子以不同的權(quán)值賦予局部特征，無論局部特征類型在訓(xùn)練樣本中是否存在，BoAF模型都能以極低的近似誤差去重建，因此有效解決了不確定性問題。實驗結(jié)果證明，基于BoAF表示的方法具有更好的性能。
　　5.提出了一種基于混合信息（Hybrid information，HI）表示的異常事件檢測方法?？紤]到異常事

6、件的上下文依靠性，事件的HI表示能夠兼顧事件的內(nèi)部特征與外部關(guān)系，有效利用了空間上下文線索。實驗結(jié)果分析與對比表明，由于兼顧了事件內(nèi)部特征與外部關(guān)系，本文方法的性能優(yōu)于僅考慮事件內(nèi)部特征的方法，對于檢測空間異常事件十分有效。
　　6.提出了一種基于表示學(xué)習(xí)的異常事件檢測方法?？紤]到手工特征的難以選擇、參數(shù)調(diào)整復(fù)雜、場景依賴性強、通用性差等不足，本文設(shè)計了深度增量慢性特征分析（Deep incremental slow featur