基于跨模態(tài)的圖像瀏覽與推薦關鍵技術研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展和圖像獲取技術的不斷提高，圖像在網(wǎng)絡中的產(chǎn)生速度也呈爆炸式增長。這就導致了如何更好的對圖像數(shù)據(jù)進行組織，管理和獲取成為一個廣泛關注的問題。當前隨著圖像數(shù)據(jù)增長速度越來越快，無論是單純基于語義信息或者視覺信息的圖像瀏覽和推薦算法都不能夠很好的解決該問題，因此本文著重研究基于跨模態(tài)信息的圖像瀏覽與推薦的相關方法，并涉及三個重要的方面:圖像跨模態(tài)關聯(lián)網(wǎng)絡的構建;基于跨模態(tài)信息的圖像聚類算法研究;基于跨模態(tài)信息的圖像個性化推

2、薦方法研究。
　　在圖像跨模態(tài)關聯(lián)網(wǎng)絡的構建方面，語義關聯(lián)網(wǎng)絡和視覺關聯(lián)網(wǎng)絡是兩個主要組成部分。語義關聯(lián)網(wǎng)絡的構建主要考慮基于概念在多標注圖像數(shù)據(jù)集中共現(xiàn)概率的層次內關聯(lián)關系和基于WordNet定義的固有層次關聯(lián)關系所共同構成。視覺關聯(lián)網(wǎng)絡的構建則主要通過提取圖像視覺信息特征來完成獲得圖像集合之間的視覺關聯(lián)的任務。最后通過語義關聯(lián)網(wǎng)絡和視覺關聯(lián)網(wǎng)絡的融合形成跨模態(tài)關聯(lián)網(wǎng)絡。
　　在基于跨模態(tài)信息的圖像聚類方面，首先考慮的是視

3、覺信息和語義信息的特征提取方法:視覺信息涉及基于SIFT特征的LLC線性編碼方法和SPM分層特征提取方法;語義信息的特征提取方法則定義一個依賴于數(shù)據(jù)集標注信息的共現(xiàn)關聯(lián)網(wǎng)絡，并基于這個網(wǎng)絡對圖像中包含的語義標注信息進行TF-IDF優(yōu)化編碼。接著本文采用CCA方法將兩個不同維度的特征進行跨模態(tài)信息融合;并為圖像聚類提供跨模態(tài)特征。
　　在基于跨模態(tài)信息的圖像個性化推薦算法方面，本文詳細介紹了該算法的設計框架和各部分的設計過程。首先是

4、基于跨模態(tài)關聯(lián)網(wǎng)絡的圖像多模態(tài)關聯(lián)信息挖掘過程，它依賴于跨模態(tài)關聯(lián)網(wǎng)絡建立多模態(tài)信息的關聯(lián)挖掘機制;接著是基于用戶個性化模型的多模態(tài)關聯(lián)融合，主要針對關聯(lián)挖掘產(chǎn)生的圖像候選集構建基于語義關聯(lián)和視覺關聯(lián)的跨模態(tài)圖模型，并在圖模型的構建中引入用戶個性化模型。最后是基于隨機游走的關聯(lián)推薦算法，在跨模態(tài)圖模型中建立一種模擬人類聯(lián)想思維方式的瀏覽推薦模式，其目的是讓算法能夠更加準確的捕捉用戶對于圖像的興趣關注點，并且為用戶提供更好的圖像瀏覽與推薦