基于時(shí)空信息和深度學(xué)習(xí)的視頻總結(jié)和標(biāo)題生成.pdf

1、隨著攝像機(jī)和智能手機(jī)的普及，在網(wǎng)上出現(xiàn)了爆炸式指數(shù)增長(zhǎng)的視頻，這些大量無(wú)組織的網(wǎng)上視頻內(nèi)容無(wú)疑會(huì)降低用戶的體驗(yàn)度。因?yàn)橐氩榭聪嚓P(guān)視頻并抓住視頻內(nèi)容里面的主旨是要消耗很多時(shí)間并且乏味的，所以我們迫切需要提供一個(gè)高效且符合用戶的方法去組織和瀏覽這些大量的視頻數(shù)據(jù)。我們引進(jìn)了視頻總結(jié)和標(biāo)題生成的方法來(lái)滿足上面的需求。我們的框架包括兩部分：一個(gè)基于深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）的編碼網(wǎng)絡(luò)和一個(gè)基于注意力機(jī)制的長(zhǎng)短時(shí)間記憶神經(jīng)網(wǎng)絡(luò)（LSTM）作為解

2、碼網(wǎng)絡(luò)。在編碼網(wǎng)絡(luò)中，我們首先提取關(guān)鍵幀來(lái)表示整個(gè)視頻內(nèi)容，然后將關(guān)鍵幀輸入到編碼網(wǎng)絡(luò)提取視頻特征。在解碼網(wǎng)絡(luò)中，我們引進(jìn)能避免梯度消失的LSTM網(wǎng)絡(luò)產(chǎn)生描述視頻內(nèi)容的語(yǔ)義性句子。
　　視頻內(nèi)容總結(jié)是產(chǎn)生一個(gè)即對(duì)用戶感興趣又具有代表性的壓縮版視頻，視頻內(nèi)容總結(jié)可以分為：關(guān)鍵幀（由一系列具有代表性的圖片組成）和片段（由一系列具有代表性的片段組成）。一個(gè)好的視頻總結(jié)至少具有兩個(gè)特性：1）包括視頻中最感興趣的部分，2）保持多樣性去除冗余

3、度。為了完成視頻總結(jié)，我們首先利用視頻的顯著線索和動(dòng)作線索得到穩(wěn)定的顯著權(quán)重和動(dòng)作差別權(quán)重，然后用我們提出的選擇模型提取滿足用戶的關(guān)鍵信息。我們提出一個(gè)獨(dú)特的框架，結(jié)合這些權(quán)重預(yù)測(cè)每一幀的重要程度，重要的幀作為關(guān)鍵幀。我們的方法不需要通過(guò)訓(xùn)練來(lái)學(xué)習(xí)重要標(biāo)準(zhǔn)且能夠預(yù)測(cè)之前未看過(guò)的視頻。
　　最近基于注意力機(jī)制的編碼-解碼框架的視頻標(biāo)題生成已經(jīng)取得進(jìn)展。然而還存在諸多問(wèn)題：1）許多已經(jīng)存在的解碼方法，只考慮視頻序列的動(dòng)態(tài)時(shí)間注意力信息

4、到自然語(yǔ)言過(guò)程的建模，而忽略視頻內(nèi)容和句子語(yǔ)義信息之間的關(guān)系。為了強(qiáng)調(diào)這個(gè)問(wèn)題，我們提出了一個(gè)基于時(shí)間注意力機(jī)制的LSTM模型并結(jié)合語(yǔ)義一致性方法（aLSTMs）進(jìn)行視頻標(biāo)題生成。2）已存在的解碼方法，產(chǎn)生每一個(gè)單詞，包括視覺(jué)單詞（像“gun”，“shooting”）和非視覺(jué)單詞（像“the”,“a”）結(jié)合注意力機(jī)制來(lái)關(guān)注最相關(guān)的視覺(jué)信息。然而這些非視覺(jué)單詞能夠很簡(jiǎn)單的結(jié)合自然語(yǔ)言模型就能預(yù)測(cè)出來(lái)。非視覺(jué)單詞結(jié)合注意力機(jī)制可能誤導(dǎo)或者降

5、低整個(gè)視頻標(biāo)題生成的效果。為了強(qiáng)調(diào)這個(gè)問(wèn)題，我們提出了一個(gè)結(jié)合可調(diào)節(jié)時(shí)間注意力機(jī)制的級(jí)聯(lián)LSTM（hLSTMat）進(jìn)行視頻標(biāo)題生成。這個(gè)框架利用時(shí)間注意力機(jī)制去選擇特定幀預(yù)測(cè)相關(guān)單詞，可調(diào)節(jié)時(shí)間注意力機(jī)制決定關(guān)注視覺(jué)信息還是自然語(yǔ)言信息。級(jí)聯(lián)LSTM同時(shí)考慮低層次的視覺(jué)信息和高層次的語(yǔ)言信息來(lái)幫助我們的視頻標(biāo)題生成。為了證明上述我們提到的方法有效性，我們?cè)贛SVD和MSR-VTT兩個(gè)數(shù)據(jù)集上做實(shí)驗(yàn)，結(jié)果顯示，我們的方法取得了最好的效果。