跨媒體數(shù)據(jù)的哈希索引與關(guān)聯(lián)挖掘.pdf

1、互聯(lián)網(wǎng)的多媒體資源廣泛呈現(xiàn)出跨媒體(Cross-media)特性，即不同類型的數(shù)據(jù)及其豐富的社會屬性之間存在著各式各樣的復雜關(guān)系。跨媒體數(shù)據(jù)的增長給傳統(tǒng)的多媒體檢索與分析的研究帶來了新的挑戰(zhàn):一方面，巨大用戶量和便捷訪問方式帶來的海量數(shù)據(jù)迫使我們提高傳統(tǒng)的多媒體存儲與計算效率;另一方面，不同模態(tài)的多媒體數(shù)據(jù)（如文本、音頻、視頻、圖像等）與用戶的行為之間相互作用形成了復雜關(guān)聯(lián)關(guān)系，合理地利用這些關(guān)聯(lián)關(guān)系可以更好地對多媒體內(nèi)容進行理解。針對

2、上述的兩方面的挑戰(zhàn)，本文提出了一系列面向高維跨媒體數(shù)據(jù)的哈希算法，大大提高了海量數(shù)據(jù)的存儲與檢索效率。與此同時，本文針對不同模態(tài)跨媒體數(shù)據(jù)間的關(guān)聯(lián)關(guān)系提出了基于超圖和稀疏表達的建模與挖掘算法，將跨媒體的數(shù)據(jù)關(guān)聯(lián)與多媒體的內(nèi)容分析相結(jié)合，提高了多媒體檢索和內(nèi)容理解的精度。
　　本文的主要工作可以總結(jié)為如下幾個方面:
　　考慮到社會媒體站點中的異構(gòu)數(shù)據(jù)的高階復雜的關(guān)聯(lián)，本文引入超圖（hypergraph）對關(guān)聯(lián)數(shù)據(jù)進行建模，最大

3、程度地保留和利用了跨媒體信息。在此基礎上，本文提出了基于超圖的譜哈希算法(HypergraphSpectralHashing)。該算法將超圖中的節(jié)點映射為緊湊的二進制編碼，大大提高了數(shù)據(jù)的存儲和檢索效率?；谠撍惴▽崿F(xiàn)的多媒體檢索應用，不但有著比傳統(tǒng)檢索方法更高的效率，也更好地利用了數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，實現(xiàn)了數(shù)據(jù)的跨模態(tài)查詢。
　　在哈希索引方面，為更好地利用數(shù)據(jù)的局部相似結(jié)構(gòu)，本文進一步提出了樣條回歸哈希算法(SplineReg

4、ressionHashing)。在學習哈稀編碼時，該算法強調(diào)保持數(shù)據(jù)的局部相似性，并用樣條函數(shù)（splinefunction）對數(shù)據(jù)的局部結(jié)構(gòu)進行建模。為了防止過擬合（over-fitting），該算法也同時考慮了數(shù)據(jù)的全局結(jié)構(gòu)，并在一個統(tǒng)一的目標函數(shù)中同時對訓練數(shù)據(jù)的哈希編碼與面向測試數(shù)據(jù)的哈希函數(shù)進行聯(lián)合求解，從而大大提高了哈希算法在近鄰搜索(Nearest-NeighborSearch)中的精度。
　　當哈希編碼的長度足夠時

5、，并非所有的哈希位對某一特定數(shù)據(jù)點都具有相同的貢獻。因此，本文提出了核化稀疏哈希(KernelizedSparseHashing)算法，該算法針對不同的數(shù)據(jù)只激活與之相關(guān)的少數(shù)哈希位。與此同時，核函數(shù)也被引入到該方法中以適應不同的數(shù)據(jù)分布和相似度度量。
　　在跨媒體數(shù)據(jù)關(guān)聯(lián)挖掘方面，為更好地對圖像和其標簽之間的關(guān)聯(lián)關(guān)系進行建模，本文提出了語義單元圖（SemanticUnityGraph）模型。該模型將每一對圖像與標簽的二元組看作一

6、個語義單元（SemanticUnity），并且用不同的超邊(hyperedge)連接存在關(guān)聯(lián)的語義單元以最終形成語義單元圖。本文將語義單元圖應用到了圖像與標簽的聯(lián)合聚類(co-clustering)和標簽細化(TagRefinement)的應用中，達到了更好的聚類與細化效果。
　　在跨媒體數(shù)據(jù)中，存在著許多用戶的行為數(shù)據(jù)，如不同多媒體數(shù)據(jù)的來源或者上傳者信息。為更好地借助上述用戶信息提高對多媒體數(shù)據(jù)分類與內(nèi)容理解的精度，本文提出了