多媒體分析中的半監(jiān)督和張量學習的研究.pdf

1、隨著移動互聯(lián)的發(fā)展，用戶自制的多媒體數(shù)據(jù)開始大量出現(xiàn)，其所具有的高維、信息復雜和無標簽或弱標簽等特性給多媒體數(shù)據(jù)分析帶來了巨大的挑戰(zhàn)。傳統(tǒng)的基于向量表達的學習方法在對多媒體數(shù)據(jù)向量化過程中，破壞了多媒體數(shù)據(jù)中固有空間結(jié)構(gòu)，另外向量化過程產(chǎn)生的高維向量導致了“維度災難”問題。由于圖像和視頻的自然表達方式是張量形式，因此基于張量表達的學習方法越來越受到圖像處理和視頻分析領域的關注。但是基于張量表達的方法目前大部分被用在子空間學習或者低階張量

2、空間中，這在實際應用中存在很多限制或者約束。在高階張量學習模型中，有的研究工作在支持向量回歸和嶺回歸中引入了張量的CP(CANDECOMP/PARAFAC)分解，從而得到了支持張量回歸和張量嶺回歸模型。但是由于CP分解存在張量秩不唯一問題，導致模型的分析準確率下降。
　　為了解決CP分解中存在的張量秩不唯一問題，本文第二章通過引入結(jié)構(gòu)化稀疏方法，使張量經(jīng)過CP分解以后在每一個因子矩陣上產(chǎn)生不同的稀疏效果。然后在模型中加入聯(lián)合稀疏約

3、束，使得所有因子矩陣產(chǎn)生相同的列稀疏。最終通過計算選擇，保留下來的非稀疏列數(shù)目即為張量的秩，從而達到自動選擇張量秩的目的。由于加入了兩種不同的稀疏約束，因此可以充分發(fā)掘每一個因子矩陣的稀疏信息，然后利用這些稀疏信息進行張量秩的選擇。另外，為了解決視覺詞袋(Bag-of-Words，BoWs)在統(tǒng)計量化過程中造成的結(jié)構(gòu)信息丟失的問題，本文在第二章提出了張量視覺詞袋模型。實驗證明張量視覺詞袋與其他向量表示方法相比，能更有效的表示多媒體數(shù)據(jù)包

4、含的內(nèi)容。本章提出的算法與張量視覺詞袋相結(jié)合在視頻和圖像分析中取得了更好的效果。雖然有的研究工作已經(jīng)提出了基于CP分解的張量回歸模型，但是CP分解造成的張量秩不唯一問題依然存在。在本文的第三章通過在張量模型中引入張量Tucker分解方法，得到了Tucker。嶺回歸算法。本文第四章利用結(jié)構(gòu)化稀疏以及張量Tucker分解方法將向量邏輯回歸模型擴展到其對應的張量模型。第三、四章得到的張量學習算法有效的解決了CP分解后張量秩不唯一的問題。算法的

5、有效性在不同的2階和3階多媒體數(shù)據(jù)集中得到了驗證。
　　傳統(tǒng)的監(jiān)督學習方法，當數(shù)據(jù)維數(shù)過高并且有標簽訓練數(shù)據(jù)太少的時候，容易產(chǎn)生“過擬合”問題，從而降低其學習的準確率。半監(jiān)督的學習方法在訓練過程中可以利用無標簽的數(shù)據(jù)信息，因此在處理現(xiàn)實數(shù)據(jù)時被廣泛應用?？紤]到在現(xiàn)實世界中存在大量無標簽或者弱標簽的視頻數(shù)據(jù)，但是有標簽的視頻很少，而且人為標注這些無標簽視頻代價過高。為了更有效地處理現(xiàn)實世界的復雜視頻數(shù)據(jù)，本文第五章提出了一種半監(jiān)督的

6、遷移學習方法。首先在視頻特征基礎上建立基于圖模型的半監(jiān)督分類器，從而可以充分的利用無標簽的視頻信息提高分類器的準確率。另外利用視頻關鍵幀和圖像之間的共享特征，建立遷移學習模型，從而可以利用圖像包含的相關信息強化分類結(jié)果。最后將兩個分類器放在統(tǒng)一的框架中進行優(yōu)化，利用圖像以及無標簽視頻的相關信息得到更加有效的視頻分類模型。在標準視頻數(shù)據(jù)集以及現(xiàn)實世界收集的視頻數(shù)據(jù)集上進行實驗，結(jié)果表明第五章的提出的方法比相關最新算法更有效。為了有效的利用