面向網絡視頻檢索的多模態(tài)融合方法研究.pdf

1、隨著網絡和多媒體技術的發(fā)展，視頻分享網站中網絡視頻數(shù)量呈爆炸式增長，用戶對視頻檢索需求越來越高，因此網絡上圖像視頻檢索成為重要的研究課題。圖像視頻檢索當前有三種方式:基于文本的圖像視頻檢索，基于內容的圖像檢索(CBIR:Content Based Image Retrieval)和兩模態(tài)融合的圖像視頻檢索?；谖谋镜膱D像視頻檢索流程，受上傳者提供視頻標題、標簽的主觀性影響大，使得檢索準確度不具有穩(wěn)定性;在基于內容的圖像視頻檢索流程中，很

2、大程度上面依賴于上傳視頻、圖片的質量，此外基于此流程的算法時間復雜度高，對數(shù)據(jù)的自適應性差，使得CBIR系統(tǒng)面臨很大的挑戰(zhàn);傳統(tǒng)的多模融合方法雖然在一定程度上解決了此類問題，但是針對Web視頻較少考查視頻的有用社會特征，并且單純從某一個或兩個模態(tài)出發(fā)的檢索方案不能滿足“圖像理解”的需要。綜上所述，本文主要研究有效的多模融合方案，貢獻如下:
　　首先，本文提出一種新的網絡視頻多模態(tài)融合檢索方案。分別從視頻視覺內容，視頻標題和標簽的文

3、本信息，以及視頻上傳時間、類別、作者三種人與視頻交互產生的社會特征等異構信息出發(fā)進行多模態(tài)融合研究，并將此方法應用到大規(guī)模圖像視頻檢索任務中。Youtube數(shù)據(jù)集上的實驗結果顯示:相對于傳統(tǒng)單一文本特征、單一視覺特征的檢索方案以及兩模態(tài)融合的檢索方案，我們的文本、視覺和用戶社會特征多模態(tài)融合融合方案表現(xiàn)出更好的性能。
　　其次，本文提出了一種主動式的內部參數(shù)調優(yōu)算法和模態(tài)間參數(shù)的自學習算法。上文提到的多模態(tài)融合檢索方案面臨著兩個問

4、題，各模態(tài)內部和模態(tài)間參數(shù)過多的問題。對于第一個問題，如果在模態(tài)內部做簡單加權，模態(tài)內部權重系數(shù)一般只能由個人經驗給出，受主觀因素影響大。針對多種社會特征，本文通過各模態(tài)內參數(shù)調整并自動迭代調優(yōu)，實現(xiàn)了內部參數(shù)的自適應學習。針對第二個問題，在單純應用一個或兩個模態(tài)的情況下，可通過試參方式對參數(shù)進行選取，模態(tài)特性過多時調參過程復雜，本文通過考查多模態(tài)類結構的分類有效性，利用分類方法達到模態(tài)間參數(shù)自學習的目的。最后，本文利用給出的多模融合方