面向觀眾的電影情感內(nèi)容表示與識(shí)別方法研究.pdf

1、隨著數(shù)字音視頻數(shù)據(jù)的爆炸性增長(zhǎng)，從這些非結(jié)構(gòu)化數(shù)據(jù)中自動(dòng)提取富含語(yǔ)義的內(nèi)容成為當(dāng)前面臨的一項(xiàng)挑戰(zhàn)，由此引發(fā)的相關(guān)研究熱潮催生了基于內(nèi)容視頻檢索（CBVR）這一研究課題。視頻情感內(nèi)容是人們理解視頻內(nèi)容時(shí)的一個(gè)重要但是經(jīng)常被研究者忽略的因素。作為CBVR 研究領(lǐng)域中的一個(gè)新興研究方向，視頻情感計(jì)算可以利用CBVR和情感計(jì)算的相關(guān)理論理解視頻情感內(nèi)容。但是，由于人類(lèi)情感與低層特征之間存在較大的“情感鴻溝”，目前仍然缺乏一個(gè)統(tǒng)一的理論框架用于視

2、頻情感內(nèi)容理解。在此背景下，以電影視頻作為研究對(duì)象提出一種面向觀眾的電影視頻情感內(nèi)容表示與識(shí)別方法。
　　 為了有效表示電影視頻的情感內(nèi)容同時(shí)反映觀眾的個(gè)性情感特征，提出一種面向觀眾的電影情感空間建模方法。通過(guò)引入典型模糊情感子空間的概念，該模型可以統(tǒng)一離散和連續(xù)兩大流派的心理學(xué)情感模型。模型采用模糊C-均值聚類(lèi)算法劃分情感空間，利用高斯混合模型確定劃分出的典型模糊情感子空間的情感隸屬度函數(shù)。
　　 該電影情感空間可以反

3、映觀眾的個(gè)性化情感體驗(yàn)，能夠在情感空間中定義典型情感狀態(tài)區(qū)域，并且能夠方便地計(jì)算各種情感狀態(tài)的情感強(qiáng)度。實(shí)驗(yàn)結(jié)果驗(yàn)證了建模方法的有效性，并且表明該電影情感空間可以面向觀眾地表示電影情感內(nèi)容。
　　 為了在低級(jí)特征與電影情感內(nèi)容之間存在的“情感鴻溝”之上架起橋梁，依照情緒心理學(xué)和電影創(chuàng)作的相關(guān)理論，設(shè)計(jì)、提取和選擇了一組電影情感特征。利用Whitney特征選擇算法選擇出兩組電影情感特征向量，其中一組用于描述情感誘力，另一組用于描述

4、情感激勵(lì)。實(shí)驗(yàn)結(jié)果表明，提出的電影情感特征向量在區(qū)分情感誘力和激勵(lì)的正負(fù)時(shí)優(yōu)于現(xiàn)有研究結(jié)果。
　　 為了有效檢測(cè)電影情感內(nèi)容，提出一種基于激勵(lì)曲線(xiàn)和電影情感樹(shù)的多級(jí)電影視頻摘要生成算法?；诖怂惴?，可以從原始影片中檢測(cè)出情感語(yǔ)義較為顯著的部分。
　　 激勵(lì)曲線(xiàn)是一種可以用來(lái)度量電影觀眾情緒興奮度隨電影情感內(nèi)容起伏變化的曲線(xiàn)。首先利用激勵(lì)曲線(xiàn)定位不同情感粒度的電影情感單元，然后將這些情感單元按情感粒度大小逐級(jí)組織起來(lái)即可生

5、成電影情感樹(shù)。電影情感樹(shù)的每層節(jié)點(diǎn)都對(duì)應(yīng)著原始電影的一個(gè)電影視頻摘要。為了識(shí)別電影視頻摘要中各情感單元的情感內(nèi)容，研究中提出兩種情感識(shí)別方法：基于基因-隱馬爾可夫聯(lián)合模型（GA-HMM）的情感內(nèi)容識(shí)別方法和基于情感空間的情感內(nèi)容識(shí)別方法。GA-HMM 情感識(shí)別器可以用于識(shí)別觀眾的基本情感事件。實(shí)驗(yàn)結(jié)果表明與傳統(tǒng)的隱馬爾可夫模型相比，GA-HMM可以在減小計(jì)算量的同時(shí)獲得更高的情感識(shí)別率?；谇楦锌臻g的情感內(nèi)容識(shí)別方法采用多層感知機(jī)和多元

6、線(xiàn)性回歸計(jì)算電影情感單元的情感坐標(biāo)?；陔娪扒楦袉卧那楦凶鴺?biāo)和電影情感空間的情感隸屬度函數(shù)，該方法提出“最大隸屬原則”和“閾值原則”，用來(lái)表示和識(shí)別觀眾觀影過(guò)程中的個(gè)性化情感體驗(yàn)。實(shí)驗(yàn)結(jié)果表明，該方法能夠有效地表示和識(shí)別個(gè)性化電影情感內(nèi)容。
　　 電影情感內(nèi)容表示與識(shí)別需要研究的問(wèn)題還很多。在電影情感空間建模方面，現(xiàn)有的建模方法完全依賴(lài)觀眾自己標(biāo)注的情感評(píng)價(jià)數(shù)據(jù)建模，給用戶(hù)帶來(lái)的負(fù)擔(dān)較重，如何利用已有的其他用戶(hù)的情感數(shù)據(jù)為一個(gè)