視頻概念檢測中的領(lǐng)域自適應(yīng)和語義關(guān)聯(lián)研究.pdf

1、當(dāng)今社會，智能設(shè)備正以前所未有的速度進行普及，日漸完善的互聯(lián)網(wǎng)和移動網(wǎng)絡(luò)將來自全世界的信息匯總和連接，人們從信息的接受者逐漸變成了信息的創(chuàng)造者和傳播者。視頻作為一種信息的常見載體，融合了圖像、時序、音頻等多種特征，具有直觀生動的特點，被廣泛地應(yīng)用。然而視頻中所包含的復(fù)雜的語義層級信息對高效的管理和準(zhǔn)確的檢索提出了更為嚴苛的挑戰(zhàn)。在視頻人工標(biāo)注過于昂貴的情況下，為了從視頻內(nèi)容中直接讀取出其中包含的物體、人物、場景等語義層概念，發(fā)展出了基于

2、內(nèi)容的視頻概念檢測技術(shù)。
　　然而，當(dāng)前的視頻概念檢測技術(shù)尚且面臨著種種困難，還無法很好地在實際中得到應(yīng)用。比如訓(xùn)練庫與測試庫不同領(lǐng)域之間廣泛存在的樣本分布差異導(dǎo)致檢測器的性能下降、找尋視頻中多種特征之間靈活高效的融合方式、低層特征與高層特征之間存在的“語義鴻溝”等問題。本文以上述三方面中的研究難點為出發(fā)點，對視頻概念檢測中的特征層領(lǐng)域自適應(yīng)問題、多特征融合中的領(lǐng)域自適應(yīng)問題以及視頻概念間的語義關(guān)聯(lián)進行了探討和創(chuàng)新，主要取得的成果

3、如下:
　　(1)針對目前特征層的不同領(lǐng)域間樣本分布差異的問題，本文基于Adaboost提出了領(lǐng)域自適應(yīng)boosting算法(DAB)。它主要解決的是當(dāng)前TrAdaBoost算法中存在的目標(biāo)領(lǐng)域（測試庫）與源領(lǐng)域（訓(xùn)練庫）數(shù)據(jù)分配不合理的問題，分為兩個主要步驟:首先對源領(lǐng)域的數(shù)據(jù)在特征空間內(nèi)進行無監(jiān)督分類;然后在迭代訓(xùn)練中，將目標(biāo)領(lǐng)域驗證集中選擇出的樣本映射到已分類的源領(lǐng)域特征空間中，匹配出一定數(shù)量的源領(lǐng)域樣本。最后，兩個領(lǐng)域選擇

4、出的數(shù)據(jù)共同進行弱分類器的訓(xùn)練。作為TrAdaBoost算法的一種改進型算法，DAB算法能夠很好地解決大規(guī)模領(lǐng)域定義和小尺寸驗證集的情況。DAB算法有兩個主要優(yōu)點:在訓(xùn)練中能夠突出目標(biāo)領(lǐng)域數(shù)據(jù)的重要性，在實驗中獲得了更好性能表現(xiàn);由于不需要對源領(lǐng)域的數(shù)據(jù)進行判別和權(quán)值計算，因而減小了計算量。
　　(2)針對當(dāng)前多特征融合研究中的領(lǐng)域自適應(yīng)能力缺失的問題，本文提出了領(lǐng)域自適應(yīng)的線性融合方法(DALC)。它是一種后期融合方法，基于多特

5、征分類器的輸出分值進行融合。該算法以線性融合模型(LC)為基礎(chǔ)，通過分析源領(lǐng)域和目標(biāo)領(lǐng)域之間的差異，來自適應(yīng)更新LC模型的融合參數(shù)。它的原理是找尋領(lǐng)域樣本與LC融合參數(shù)之間的關(guān)聯(lián)關(guān)系，利用源領(lǐng)域中已經(jīng)建立的關(guān)聯(lián)關(guān)系去指導(dǎo)目標(biāo)領(lǐng)域的關(guān)聯(lián)關(guān)系，通過優(yōu)化搜索來找尋更新后的融合參數(shù)，使得兩個領(lǐng)域中存在的關(guān)聯(lián)關(guān)系距離最小。DALC模型是一種通用的非監(jiān)督式方法，不需要訓(xùn)練，有著很快的自適應(yīng)速度。與當(dāng)前一些沒有考慮領(lǐng)域自適應(yīng)的多特征融合方法相比，有著

6、更好的融合性能。
　　(3)針對視頻概念間的語義關(guān)聯(lián)問題，本文提出了基于節(jié)點平衡(NE)的概念關(guān)聯(lián)模型，它與DALC模型共同構(gòu)成了一個兩級語義模型。該方法以物理模型為基礎(chǔ)，將概念之間的關(guān)聯(lián)性用物理性的引力和斥力進行建模，而將一個個鏡頭-概念對看作是物理節(jié)點，它們的分值則是它們所處的位置。對不同類別的概念關(guān)聯(lián)方式，可以定義不同種類的力，它們可以共同作用在一個節(jié)點之上，從而達到使用多種概念關(guān)聯(lián)共同作用的結(jié)果。與現(xiàn)有的方法相比，它可以使