新聞視頻語義概念探測與語義檢索關鍵技術研究.pdf

1、新聞視頻由于其真實準確、內(nèi)容豐富、信息量大等特點，成為人們獲得信息的重要媒體類型。對于情報人員而言，新聞視頻是一種公開的情報源，其時效快，且反映各國政治、經(jīng)濟、軍事和外交政策，從而能夠為情報人員提供豐富情報，為戰(zhàn)略決策分析提供重要輔助，因此研究新聞視頻的語義分析技術無論對于普通民眾或是情報分析人員都具有非常重要的意義。但是新聞視頻的底層特征與高層語義之間存在的語義鴻溝問題使得新聞視頻的語義內(nèi)容分析面臨巨大困難，并且新聞視頻的非結構化的數(shù)

2、據(jù)格式、巨大的數(shù)據(jù)量以及表現(xiàn)內(nèi)容不透明等特點使得人們難以方便快速對新聞視頻進行瀏覽和檢索。由此可見，分析新聞視頻的語義內(nèi)容以輔助用戶獲得有效的新聞視頻信息是值得深入研究的問題，本文針對此具有理論意義及應用前景的課題進行了探索和研究，目的在于解決新聞視頻語義概念探測和語義檢索中部分關鍵技術，為構建有效的新聞視頻語義檢索系統(tǒng)提供技術支持，同時也為獲得新聞視頻的視覺語義內(nèi)容、跨越語義鴻溝提供解決思路。
　　本文首先建立一個新聞視頻語義檢

3、索研究的技術框架，在此基礎上重點研究基于概念關系的語義概念探測、基于多線索信息的語義概念探測、新聞視頻語義索引構建以及用戶查詢多模態(tài)語義擴展等關鍵性技術，通過實驗驗證了本文研究的可行性和本文所提出算法的性能。論文的主要貢獻具體表現(xiàn)在如下幾個方面：
　　1、提出了基于概念關系的語義概念探測方法。對語義概念間存在的上下文關系進行定量定性分析，針對顯式和隱式兩類語義概念探測方法提出新的解決思路。針對隱式探測方法，提出在基于上下文關系的語

4、義概念探測框架中增加相關概念選擇模塊，并結合視覺相似性、探測器準確率等多項要素得到最終的融合判定；在此基礎上，根據(jù)概念關系對 Boosting方法中的權重分布策略進行改進，在限制權重擴張的同時平衡了探測模型訓練過程中的誤判率與誤拒率。針對顯式探測方法，有效利用語義概念的共現(xiàn)與互斥關系，將精化過程轉化為隨機漫步過程，并分解為正、負相關兩個部分進行迭代精化處理以保證隨機過程的收斂，進一步去除不可靠相關概念，以獲得更為魯棒的精化結果。

5、　　2、提出了基于多線索信息的語義概念探測方法。分析了對于探測新聞視頻語義概念具有重要作用的多線索信息，包括運動信息、時間信息以及文本信息。針對運動信息，提出了運動特征與背景特征相融合的語義概念探測框架，采用運動局部不變特征描述子對鏡頭進行運動特征提取，并采用概率潛在語義分析獲得鏡頭的潛在語義以構建潛在運動語義概念探測模型；針對時間信息，綜合分析語義概念的多種時序關系，包括時間一致性關系、鏡頭間上下文關系以及鏡頭內(nèi)上下文關系，構建了基于

6、擴展N-gram語言模型的時序平滑框架，并利用高階時序關系抑制模型中的數(shù)據(jù)稀疏問題。
　　3、提出了新聞視頻的層次化語義索引結構，包括潛在概念、語義概念、文本詞匯以及高層的概念聚類。針對高層概念聚類，提出了基于四部圖劃分的新聞視頻故事單元聚類方法。該方法在分析新聞視頻高階異構特性的基礎上，構建了新聞故事單元的四部圖模型，將四部圖聯(lián)合聚類問題分解為三個二部圖劃分問題，并進一步轉化為多目標優(yōu)化問題，采用半正定規(guī)劃方法獲得全局最優(yōu)解，以

7、得到最終的聯(lián)合聚類結果。
　　4、提出了用戶查詢的多模態(tài)語義擴展方法，利用WordNet衡量查詢文本與語義概念間的相似度，并結合概念關系完成查詢與語義概念的初步映射，在此基礎上提出多特征交互框架，利用包括語義概念、潛在語義、文本語義在內(nèi)的多類語義特征之間的互補特性，對初始檢索結果進行重排序，以獲得多模態(tài)語義擴展的用戶查詢，并與層次化語義索引進行映射得到最終的語義檢索結果。
　　5、基于本文的研究內(nèi)容，設計和實現(xiàn)了一個新聞視頻