圖像情感感知的計算與應用研究.pdf

1、隨著計算機科學、多媒體技術以及社交網(wǎng)絡的迅速發(fā)展，圖像、視頻等多媒體內容的規(guī)模呈指數(shù)式爆炸增長，處理和理解這些多媒體內容的需求日益增強。相對于底層視覺特征層，人們只能夠感知和理解圖像、視頻的高層語義層，包括認知層和情感層。以往對圖像內容分析的工作主要集中在理解圖像的認知層，即描述圖像的真實內容，如物體檢測與識別。然而，公眾對數(shù)字攝影技術的廣泛使用及對圖像情感表達的強烈需求，使得對圖像最高語義層一情感層的分析變得越來越迫切。
　　對

2、圖像情感層的分析，簡稱圖像情感計算，主要目的是理解觀察者看完圖像后所引起的情感反應。圖像情感計算的發(fā)展主要受到兩大挑戰(zhàn)的制約：一個是情感鴻溝，即“可度量的信號屬性即特征與人感知該信號所期望產生的情感之間的不一致性”另一個是人類情感感知與評估的主觀性，即“由于文化背景、教育程度、社交上下文等多種因素的影響，不同觀察者對同一幅圖像的情感感知是主觀的、不同的”。本文針對圖像情感計算中的上述問題進行研究，基于藝術學相關理論，期望提取更具有判別力

3、更容易理解的情感特征；利用社交媒體數(shù)據(jù)進行以用戶為中心的個性化情感預測，探索社交媒體中影響情感感知的因素；對圖像情感的分布進行建模，預測一幅圖像在多位觀察者中所誘發(fā)情感的分布情況；研究圖像情感在計算機視覺、多媒體技術等領域的應用。具體地，本文的研究內容和主要貢獻分為以下四個方面：
　　首先，根據(jù)藝術理論的相關研究，本文提出了一種基于藝術原理的中層圖像情感特征，對以圖像為中心的大眾化情感進行預測。藝術理論由藝術元素和藝術原理組成：藝

4、術元素是構成藝術作品的基本元素，包括顏色、紋理等；藝術原理是用來對藝術元素進行組織與排列的規(guī)則和工具，包括平衡、強調等。現(xiàn)有的工作主要提取基于藝術元素的底層特征對圖像的情感進行識別。這些特征容易受到組織規(guī)則的影響，并且它們與情感之間的關系很微弱。因此，藝術元素必須通過藝術原理組織排列成有意義的區(qū)域與圖像，來表達特定的語義與情感。本文系統(tǒng)地學習、表示并實現(xiàn)了基于藝術原理的特征，將量化后的藝術原理串聯(lián)成情感特征，用來對圖像情感進行分類與回歸

5、。在IAPS, Abstract,ArtPhoto三個數(shù)據(jù)集上的實驗證明了藝術原理特征的有效性。
　　其次，感預測方法利用社交媒體上的數(shù)據(jù)，本文提出了一種以用戶為中心的個性化清，首次對圖像情感感知的主觀性進行評價?，F(xiàn)有的圖像情感數(shù)據(jù)集都是以圖像為中心的，以預測圖像情感的大眾化情感為目的，并且圖像數(shù)量很少，不能用于個性化的情感分析。本文構造了一個基于Flickr的個性化圖像情感感知的大規(guī)模數(shù)據(jù)集，命名為Image-Emotion-S

6、ocial-Net (ISSN)，包含100多萬張圖像和大約8000個用戶。社交網(wǎng)絡中多種因素可以影響個性化的情感感知:視覺內容、社交上下文、時間演變、地理位置等。本文提出了迭代多任務超圖學習方法對這些因素進行聯(lián)合建模，并且設計了一個學習算法，實現(xiàn)自動優(yōu)化。實驗結果表明，綜合考慮多種因素可以有效地提高個性化清感預測的準確率。
　　再次，本文提出了一種以圖像為中心的對圖像情感的概率分布進行預測的方法，從新的角度對圖像情感進行建模。在

7、Ab stract以及ISSN數(shù)據(jù)集上的統(tǒng)計發(fā)現(xiàn)，盡管圖像情感感知呈現(xiàn)出個性化的特點，但整體上也服從一定的分布?；谶@一觀察，本文提出了基于共享稀疏學習的方法對圖像情感的概率分布進行預測，并且使用迭代重加權最小二乘進行優(yōu)化。對應于離散情感和維度情感兩種表示方法，本文對圖像情感的離散概率分布和連續(xù)概率分布都進行了處理。此外，本文介紹了多種baseline算法。實驗結果表明，共享稀疏學習取得了最優(yōu)的性能。
　　最后，本文實現(xiàn)了圖像情感

8、在計算機視覺與多媒體技術領域的多個應用。一個是基于多圖學習的情感圖像檢索，與傳統(tǒng)的基于內容的圖像檢索不同，本文使用多圖學習的方法從情感的角度對圖像進行檢索，并且在3D物體檢索上進行了擴充;一個是基于觀察者情感分析的視頻分類與推薦，提出了使用觀察者觀看視頻時表情的變化來對視頻進行分析;一個是基于情感的圖像配樂，為輸入圖像配置表達相似情感的音樂，這可以使圖像更加生動，并且?guī)ьI用戶進入圖像想要表達的世界。
　　通過上述研究，本文對圖像情