結(jié)合ITQ的跨模態(tài)的多媒體信息檢索.pdf

1、從上個(gè)世紀(jì)九十年代初期開(kāi)始，基于內(nèi)容的多媒體檢索就開(kāi)始成為了在多媒體信息檢索領(lǐng)域中的一個(gè)研究熱點(diǎn)。并且基于內(nèi)容的多媒體檢索的研究也一直是計(jì)算機(jī)視覺(jué)領(lǐng)域中的一個(gè)非常受矚目的研究方向，基于內(nèi)容的多媒體檢索技術(shù)主要是綜合應(yīng)用了統(tǒng)計(jì)分析、模式識(shí)別、多媒體數(shù)據(jù)庫(kù)、機(jī)器學(xué)習(xí)、人機(jī)交互等多個(gè)領(lǐng)域的知識(shí)，主要是解決傳統(tǒng)的基于文本的多媒體檢索中所存在的在人工標(biāo)注時(shí)的耗時(shí)耗力、以及人工選擇上的主觀差異性大等幾大問(wèn)題。然而，傳統(tǒng)的多媒體信息檢索技術(shù)主要是針對(duì)

2、的多媒體類型比較單一，比如圖像檢索，音頻檢索，視頻檢索等，不能夠支持不同模態(tài)的多媒體對(duì)象之間的相互檢索。這便使人們迫切的需要一種新的檢索方式能夠處理和查詢不同模態(tài)的多媒體數(shù)據(jù)。因此，本文的研究重點(diǎn)便是研究這種能夠靈活跨越不同模態(tài)形式的多媒體數(shù)據(jù)的檢索方法——跨媒體檢索。
　　對(duì)于圖像和視頻等多媒體信息集來(lái)說(shuō)，在目前的絕大多數(shù)檢索方法中采取的大多是基于文本搜索的技術(shù)，如Google，它們的圖像和視頻檢索功能仍然是基于文本的關(guān)鍵詞(k

3、eyword)的，這些關(guān)鍵詞大部分是來(lái)源于與圖片相關(guān)的文本或者文件名等，其中少量的部分是來(lái)源于人工標(biāo)注。但是因?yàn)樾畔⑹占邆兊奈幕尘昂蛯I(yè)知識(shí)的不同與迥異，這些與圖片關(guān)聯(lián)的文本信息也往往是缺乏可信度的。大多數(shù)的研究者們都能夠深切的體會(huì)到，對(duì)于圖像和音頻等的多媒體信息，它們是很難得到有效的、精確的描述。所以這種單一模式的解決方案是很難滿足人們的查詢需求的，并且這種方法的搜索精度很低。
　　本文首先研究了當(dāng)前的國(guó)內(nèi)外現(xiàn)有的多媒體信息

4、檢索的相關(guān)技術(shù)。在研究不同模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)挖掘和檢索問(wèn)題時(shí)，總結(jié)了四種比較典型的跨模態(tài)檢索方法:線性迭代和映射，非線性流形，概率模型及異構(gòu)分析。并且本文提出了三種比較新穎的跨模態(tài)的信息檢索方法。第一種檢索方法是結(jié)合doc2vec和ITQ的跨模態(tài)多媒體信息檢索;第二種方法是基于主題模型的跨模態(tài)多媒體信息檢索。第三種方法是融合多特征的跨模態(tài)信息檢索方法，在第三種方法中，我們又提出了兩種不同思路的特征融合方法。這三種方法的目的都是旨在以不同