基于多模態(tài)信息的新聞視頻內(nèi)容分析技術(shù)研究.pdf

1、對(duì)視頻數(shù)據(jù)的有效處理、瀏覽、檢索和管理正伴隨著視頻數(shù)據(jù)的快速增長(zhǎng)而成為亟待解決的現(xiàn)實(shí)問(wèn)題。視頻內(nèi)容分析技術(shù)旨在將非結(jié)構(gòu)化的視頻數(shù)據(jù)結(jié)構(gòu)化，并提取其中的語(yǔ)義內(nèi)容，構(gòu)建低層特征到高層語(yǔ)義之間的橋梁，最終建立視頻的摘要、索引和檢索等應(yīng)用系統(tǒng)，提供給用戶方便的視頻內(nèi)容獲取方式。 本論文以新聞視頻為研究對(duì)象，以音頻、字幕、視覺(jué)等多模態(tài)信息及其有效融合為研究手段，以模式識(shí)別理論中的相關(guān)模型為工具，對(duì)視頻內(nèi)容分析技術(shù)展開了較為深入的研究。主要

2、貢獻(xiàn)包括以下三個(gè)方面： （1）提出了一種新穎的基于MPEG壓縮域的主持人鏡頭快速檢測(cè)算法。其中，在預(yù)處理部分，引入了一種改進(jìn)的利用壓縮域信息檢測(cè)人臉的方法；在鏡頭聚類部分，構(gòu)造了一個(gè)新穎的度量特征量對(duì)主持人鏡頭采用系統(tǒng)聚類法進(jìn)行聚類，并用模糊C均值聚類法解決了聚類過(guò)程中自適應(yīng)閾值確定的問(wèn)題。該算法在保持較高檢測(cè)性能的前提下提高了主持人鏡頭的檢測(cè)速度。 （2）提出了一種基于決策樹的鏡頭分類算法，將新聞視頻鏡頭依次分為廣告、

3、“其他”、靜態(tài)圖像、主持人、記者和獨(dú)白六類。其中廣告、“其他”和靜態(tài)圖像三類分別利用黑幀、運(yùn)動(dòng)、時(shí)間以及人臉等特征進(jìn)行檢測(cè)；主持人鏡頭采用聚類方法進(jìn)行檢測(cè)；對(duì)于比較難區(qū)分的記者和獨(dú)白鏡頭，創(chuàng)新性地將它們的檢測(cè)轉(zhuǎn)換為文本序列標(biāo)注的問(wèn)題，并采用條件隨機(jī)場(chǎng)進(jìn)行建模。該算法有效地融合了音頻、人臉以及上下文等多模態(tài)信息，對(duì)新聞視頻中重要的鏡頭進(jìn)行了區(qū)分，并取得了較好的分類結(jié)果。 （3）提出了一種融合音頻、字幕以及視覺(jué)等多模態(tài)信息的新聞故事

4、單元分割算法。創(chuàng)新性地將字幕變化、音頻類型以及鏡頭類型等高層次內(nèi)容特征聯(lián)系起來(lái)共同處理，巧妙地將新聞鏡頭序列轉(zhuǎn)換成為多個(gè)關(guān)鍵詞序列，使新聞故事單元分割問(wèn)題轉(zhuǎn)換成為文本序列分割的問(wèn)題。該算法采用條件隨機(jī)場(chǎng)進(jìn)行建模，充分利用了每個(gè)序列內(nèi)以及序列之間的上下文信息，得到了較好的分割性能。 此外，論文還綜述了視頻內(nèi)容分析技術(shù)，構(gòu)造了一個(gè)基于規(guī)則和隱馬爾可夫模型的分層音頻分類方法，實(shí)現(xiàn)了一個(gè)較完整的新聞視頻中字幕提取框架，最終設(shè)計(jì)并實(shí)現(xiàn)了一