基于超圖模型的視頻多語(yǔ)義標(biāo)注方法研究.pdf

1、近年來(lái),隨著多媒體視頻數(shù)據(jù)的急劇增長(zhǎng),為了便于對(duì)海量的視頻數(shù)據(jù)進(jìn)行語(yǔ)義級(jí)別的檢索與瀏覽,基于語(yǔ)義概念的視頻檢索技術(shù)已成為研究的新熱點(diǎn)。而在基于語(yǔ)義概念的視頻檢索研究中所涉及到的重點(diǎn)和難點(diǎn)是如何跨越視頻低層特征和人類(lèi)高層理解之間的語(yǔ)義鴻溝。目前,廣泛地認(rèn)為視頻語(yǔ)義自動(dòng)標(biāo)注技術(shù)是解決這一難點(diǎn)的有效方法。因此,研究出一種高效準(zhǔn)確的視頻語(yǔ)義自動(dòng)標(biāo)注方法顯得至關(guān)重要。
　　 本文首先簡(jiǎn)要地綜述了本課題研究的背景和意義,然后詳細(xì)地分析了視頻

2、自動(dòng)語(yǔ)義標(biāo)注過(guò)程中有關(guān)主要工作的國(guó)內(nèi)外研究現(xiàn)狀。在此基礎(chǔ)上,結(jié)合超圖理論知識(shí),提出了基于譜超圖聚類(lèi)的關(guān)鍵幀提取方法、視頻語(yǔ)義概念時(shí)間相關(guān)性的時(shí)序概率超圖表示法和基于時(shí)序概率超圖模型的視頻多語(yǔ)義自動(dòng)標(biāo)注方法,主要工作描述如下:
　　 (1)提出了一種基于譜超圖聚類(lèi)的關(guān)鍵幀提取方法。通過(guò)引入超圖理論,提出了一種新的基于譜超圖聚類(lèi)的關(guān)鍵幀提取算法。該算法視鏡頭中每幀圖像為超圖的一個(gè)頂點(diǎn),根據(jù)幀圖像間的相似度構(gòu)造超邊,然后完成幀超圖的構(gòu)

3、建,最后利用基于譜超圖的聚類(lèi)方法實(shí)現(xiàn)鏡頭關(guān)鍵幀的提取。實(shí)驗(yàn)表明,該方法可提高視頻關(guān)鍵幀提取的有效性和準(zhǔn)確性。
　　 (2)提出了一種視頻語(yǔ)義概念時(shí)間相關(guān)性的時(shí)序概率超圖表示法。利用視頻語(yǔ)義概念時(shí)間相關(guān)性可以進(jìn)一步提高視頻標(biāo)注的準(zhǔn)確性,本文提出了時(shí)序概率超圖模型用來(lái)表達(dá)視頻的這一特性。該模型是對(duì)超圖模型的一種泛化:不僅能夠表示多個(gè)頂點(diǎn)之間的局部聚合信息、各頂點(diǎn)屬于它所對(duì)應(yīng)的時(shí)序概率超邊的概率,還能夠?yàn)轫旤c(diǎn)間的時(shí)間序列關(guān)系建模。

4、r>　　 (3)提出了一種基于時(shí)序概率超圖模型的視頻多語(yǔ)義自動(dòng)標(biāo)注方法。首先利用本文所提出的時(shí)序概率超圖模型,將每個(gè)鏡頭視為一個(gè)頂點(diǎn),根據(jù)鏡頭間的相似度和時(shí)序關(guān)系構(gòu)建時(shí)序概率超邊;然后完成鏡頭時(shí)序概率超圖的構(gòu)建;最后利用基于時(shí)序概率超圖的鏡頭多標(biāo)簽半監(jiān)督分類(lèi)學(xué)習(xí)算法完成對(duì)未標(biāo)注視頻鏡頭的多語(yǔ)義概念自動(dòng)標(biāo)注。標(biāo)注中同時(shí)有效地解決了已標(biāo)注視頻數(shù)據(jù)不足和視頻的多語(yǔ)義標(biāo)注問(wèn)題。實(shí)驗(yàn)結(jié)果表明了該方法可提高視頻鏡頭語(yǔ)義標(biāo)注的性能。