視頻鏡頭分割及其在視頻檢索中的應(yīng)用.pdf

1、隨著多媒體技術(shù)和Web技術(shù)的發(fā)展，越來越多的信息以視頻形式存儲、傳輸和表現(xiàn)。如何快速、方便地檢索到自己需要或感興趣的視頻成為近年來研究的熱點(diǎn)?；趦?nèi)容的視頻分析與檢索系統(tǒng)是實(shí)現(xiàn)這個目標(biāo)的有效途徑。 視頻內(nèi)容結(jié)構(gòu)化技術(shù)按照自頂向下的結(jié)構(gòu)將視頻分為視頻、場景、鏡頭和幀四個層次。在這四個視頻結(jié)構(gòu)層次中，鏡頭被認(rèn)為是最適合用來實(shí)現(xiàn)基于視頻內(nèi)容對視頻進(jìn)行檢索的一個層次。因此基于內(nèi)容的視頻分析與檢索系統(tǒng)一般分為三個過程。首先是視頻分割，尋找

2、視頻鏡頭轉(zhuǎn)換的邊界：其次是提取關(guān)鍵幀，用于簡潔的表達(dá)鏡頭；最后是視頻鏡頭信息的標(biāo)注，即利用動態(tài)和靜態(tài)特征來對鏡頭進(jìn)行分類和標(biāo)注，從而對整段視頻建立目錄索引，以便用戶檢索。 本文主要研究內(nèi)容分為兩個方面，一是鏡頭邊界檢測，將視頻分為鏡頭，二是基于內(nèi)容對鏡頭進(jìn)行分類。 對于鏡頭邊界檢測，本文基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)思想，提出一種利用多種視頻特征的鏡頭邊界檢測算法。突變檢測中，在特征矢量形成上，分別采用了相鄰兩幀差值法和滑動窗口

3、法，并加入運(yùn)動信息以排除強(qiáng)運(yùn)動對突變檢測的影響；在神經(jīng)網(wǎng)絡(luò)的構(gòu)架上，則分別采用了融合法和選舉法。在漸變檢測中，先通過三個神經(jīng)網(wǎng)絡(luò)將溶解過程中方差曲線的三種模式分別識別出來，再根據(jù)溶解過程中亮度均值呈線性遞增或遞減的特性將干擾排除。對大量TRECVID視頻進(jìn)行實(shí)驗的結(jié)果表明，該算法對視頻突變和漸變都具有良好的檢測性能，并對運(yùn)動以及閃光燈的干擾具有較好的魯棒性。 從語義角度，鏡頭可以分為類型、事件和對象三個級別，相應(yīng)的鏡頭分類的問題