面向視頻理解的視頻表征模型及應(yīng)用研究.pdf

1、視頻理解是研究視頻圖像并進行計算機解釋，實現(xiàn)人類視覺理解外部世界的一門學科。其主要任務(wù)是對視頻進行分割、識別，并進一步獲取有用信息，最后再將這些有用信息與應(yīng)用的語義環(huán)境進行關(guān)聯(lián)。由于視頻結(jié)構(gòu)復(fù)雜、語義信息豐富，因此視頻的理解一直是視頻相關(guān)分析中的重點和難點。在目前檢索、標注、分類等技術(shù)研究中，人們往往從視頻/圖像所描述的對象、場景或事件等高層次概念和語義上來建立對視頻相似性的理解。然而，計算機對視頻相似性的理解則是在諸如顏色、紋理、形狀

2、等底層特征的基礎(chǔ)之上進行度量。由于人和計算機對視頻相似性的判斷依據(jù)存在差異，造成人所理解的“語義相似”與計算機所理解的“視覺相似”之間產(chǎn)生“語義鴻溝”。合理選擇視頻的屬性特征是視頻理解的關(guān)鍵步驟，也是后續(xù)各類應(yīng)用研究的關(guān)鍵。簡潔有效的視頻表征不僅有利于視頻的壓縮存儲，而且有利于視頻的高效查找和管理。綜上所述，如何根據(jù)視頻的特有知識有效填補視頻理解中存在的“語義鴻溝”，對視頻的有效管理和分析應(yīng)用具有重要的研究意義。
　　本文旨在進一

3、步縮小視頻理解中存在的“語義鴻溝”，重點研究視頻的有效表征及其在相關(guān)領(lǐng)域中的應(yīng)用。首先，研究了基于全局特征的表征方法及應(yīng)用；其次，基于局部特征提出一種多視角多層次并且融合語義信息的視頻表征模型；最后針對特殊視頻給出了融合領(lǐng)域知識的表征模型及其相關(guān)應(yīng)用。本文的主要工作和創(chuàng)新之處在于以下幾個方面：
　　1.提出一種在壓縮變換域中基于全局特征的視頻幀加權(quán)表征模型，并在此基礎(chǔ)上提出一種層次化(幀-鏡頭-視頻)的相似性度量方式。此外，進一步

4、探討層次化度量模型在視頻例子檢索中的應(yīng)用。
　　2.提出一種多層次多視角的主題表征模型(Multi-Layer Multi-View Topic Model, mlmv-LDA)。針對全局特征在視頻幀表征時的不足，進一步尋求面向視頻圖像局部特征的多表達域、多視角、多種特征層次下的解決途徑，建立視頻元數(shù)據(jù)與各種應(yīng)用需求的橋梁，有效填補了計算機和人對視頻理解時存在的“語義鴻溝”。提出的表征模型融合了建立在局部特征描述子之上的若干種中層

5、特征以及高層特征，并結(jié)合主題模型中隱含狄利克雷分布（Latent Dirichlet Allocation LDA）來學習每個視頻的隱含主題分布，以對底層視覺特征和高層語義特征進行有效融合。
　　3.提出一種針對廣告視頻的帶后驗概率的主題表征模型(posterior probability involved in LDA, ppLDA)。針對特定視頻的表征問題，本文以廣告視頻作為特定的研究對象，將廣告視頻中包含的品牌信息(Logo

6、)和高層對象之間的共現(xiàn)概率信息整合到隱含狄利克雷分布(Latent Dirichelt Allocation, LDA)中進行學習，這是一種讀特定視頻領(lǐng)域知識和主題學習模型的有效融合。最后，還進一步探究了所提出的表征模型在分類中的應(yīng)用。
　　4.提出一種面向視頻高層語義表征的多標簽學習框(Directed Probability Label Graph，DPLG)。該學習框架主要針對含有特定對象或標記的視頻對象，是以廣告視頻作為該