跨媒體相似度機(jī)制研究和實(shí)現(xiàn).pdf

1、在這個(gè)信息時(shí)代，多媒體數(shù)據(jù)不斷涌現(xiàn)，使得人們的信息來(lái)源不再只局限于單調(diào)的文本信息，而是擴(kuò)展到圖像、視頻、音頻、3D、flash等多種不同類(lèi)型的媒體對(duì)象。這些多媒體對(duì)象之間呈現(xiàn)出跨媒體的特性，主要表現(xiàn)為多種類(lèi)型媒體數(shù)據(jù)混合并存、組織結(jié)構(gòu)復(fù)雜，而且往往不同類(lèi)型的媒體數(shù)據(jù)從各個(gè)側(cè)面表達(dá)同一語(yǔ)義。媒體對(duì)象間的這種跨媒體特點(diǎn)勢(shì)必要求我們?cè)诙嗝襟w檢索中能夠充分考慮到這一特點(diǎn)，并合理地加以利用。也就是需要對(duì)多種模態(tài)的媒體對(duì)象進(jìn)行融合分析，挖掘出它們之

2、間潛在的語(yǔ)義聯(lián)系，以語(yǔ)義為橋梁，在檢索時(shí)實(shí)現(xiàn)從一種媒體到另一種媒體的跨越。而在跨媒體檢索中，一個(gè)首先遇到的難題就是不同模態(tài)的媒體對(duì)象間相似度的計(jì)算問(wèn)題?；谶@樣的背景，本文從相似度機(jī)制的角度出發(fā)對(duì)跨媒體檢索進(jìn)行研究，提出了基于相似度融合以及基于PageRank的兩種跨媒體檢索算法。在跨媒體檢索這一領(lǐng)域做出了初步的嘗試。 本文首先介紹了研究背景，簡(jiǎn)述現(xiàn)有技術(shù)與不足，并概括了本文的主要工作。第二章對(duì)多媒體檢索的歷史作了一個(gè)回顧，主要

3、介紹了文本信息檢索、基于關(guān)鍵字的多媒體檢索、基于內(nèi)容的多媒體檢索、多媒體語(yǔ)義自動(dòng)標(biāo)注、多媒體融合分析與語(yǔ)義理解等領(lǐng)域的發(fā)展。 第三章提出了一個(gè)基于相似度融合的跨媒體檢索的方法，通過(guò)SimFusion對(duì)不同媒體對(duì)象間的相似度進(jìn)行融合，再通過(guò)MDS得到媒體對(duì)象在語(yǔ)義空間中的坐標(biāo)，由此實(shí)現(xiàn)跨媒體檢索。 第四章提出了一個(gè)基于PersonalizedPageRank和交叉關(guān)聯(lián)圖的跨媒體檢索的方法。通過(guò)改進(jìn)PersonalizedP