面向感知的視頻內(nèi)容表示研究.pdf

1、視頻內(nèi)容分析是近年來非常活躍的一個研究方向，其基本研究目的是研制自動化的算法和系統(tǒng)，以便于實現(xiàn)對視頻信息的有效組織、管理和再利用。視頻內(nèi)容表示是視頻分析系統(tǒng)中的一項重要內(nèi)容，已成為解決低層特征和高層語義之間的語義鴻溝問題的主要途徑之一，其研究目的是通過對視頻數(shù)據(jù)的處理和分析，建立具有語義表征性的內(nèi)容表示模式，進(jìn)而實現(xiàn)對視頻內(nèi)容的表達(dá)和描述。鑒于其重要地位和功能，論文針對視頻內(nèi)容表示進(jìn)行了研究。 論文基于視覺認(rèn)知理論的有關(guān)研究成果

2、，構(gòu)建面向感知的內(nèi)容表示機制，主要包括三個方面：基于語義單元、基于事件和基于關(guān)鍵幀的內(nèi)容表示的研究，提出了有效的算法，并用實驗驗證了這些算法的有效性。 在基于語義單元的表示上，將注意力機制引入視頻信息的分析，針對視頻序列中的圖像幀，提出了一種有效的視頻信息顯著性分析方法，用于提取符合感知過程中受注意程度高的區(qū)域，即顯著區(qū)域。 由于視頻信息的時空特性，單幅圖像幀的顯著區(qū)域不能滿足視頻語義分析的要求。為了提取更為有效的語義單

3、元，除了需要空域的區(qū)域分割外還需要進(jìn)行時域的分析以獲得空域和時域兩方面的語義信息。通過顯著區(qū)域的時空特征一致性分析，論文提出了一種基于時空顯著單元的提取算法，得到一個時間段內(nèi)具有內(nèi)容一致性的時空區(qū)域，即時空顯著單元，其內(nèi)容表征能力在視頻序列匹配的應(yīng)用實驗中得到驗證。 在基于事件級的內(nèi)容表示上，根據(jù)人對事件的視覺感知特點，論文構(gòu)建了一個事件級內(nèi)容表示模型。并在此模型基礎(chǔ)上，針對體育視頻中的特定語義事件，提出了一種有效的語義事件檢測