視頻跟蹤中的目標(biāo)建模及相似性度量研究.pdf

1、隨著大數(shù)據(jù)時代的到來，海量的視頻數(shù)據(jù)存在于互聯(lián)網(wǎng)中，如何對這些視頻數(shù)據(jù)進行分析、識別和理解是計算機視覺領(lǐng)域新興的研究熱點。溯本求源，要做到對視頻的語義進行理解，需要對視頻中運動目標(biāo)的姿態(tài)、行為等屬性進行分析和理解。要達到這一目的，首先需要對視頻序列中目標(biāo)的運動趨勢進行建模。這就回歸到了計算機視覺中的一個基礎(chǔ)性問題：視頻目標(biāo)跟蹤。由于視頻數(shù)據(jù)的復(fù)雜性、多樣性以及運動目標(biāo)本身變化的不確定性，視頻目標(biāo)跟蹤目前依然是計算機視覺中的一個難點。其主

2、要的挑戰(zhàn)和困難包括：運動目標(biāo)的表觀具有多變性，包括目標(biāo)本身的變化如平面內(nèi)旋轉(zhuǎn)、出平面旋轉(zhuǎn)、尺度變化等；同時，外在環(huán)境的變化也常常導(dǎo)致運動目標(biāo)的表觀發(fā)生變化，如光照條件變化、目標(biāo)物體被其他物體遮擋、復(fù)雜背景噪聲和由采集設(shè)備的不穩(wěn)定所帶來的運動模糊等等。
　　本論文從視頻跟蹤問題的基本建模方式入手，對視頻跟蹤基本模型進行分解，將魯棒視頻跟蹤方法的設(shè)計問題歸結(jié)為對兩個核心難點問題的研究：1)如何有效建立穩(wěn)健的運動目標(biāo)表觀模型，從而魯棒的

3、應(yīng)對各種內(nèi)在的或由外界環(huán)境帶來的目標(biāo)表觀變化。2)如何魯棒的度量目標(biāo)表觀模型和候選目標(biāo)之間的相似程度，從而有效的在后續(xù)幀中定位目標(biāo)物體。
　　本文的工作緊緊圍繞上述的兩個難點問題，從以下三個方面展開研究：
　?。?）從人眼視覺的本質(zhì)規(guī)律出發(fā)，提出一種基于時空顯著性結(jié)構(gòu)化的目標(biāo)表觀模型建模方法。該方法采用對圖像局部區(qū)域進行建模的方式，全面而深入的討論了前景目標(biāo)局部圖像區(qū)域的顯著特性。這種顯著特性既包括了局部圖像區(qū)域在空間維度上

4、的顯著性質(zhì)，也包括了局部圖像區(qū)域在時間維度上的顯著性質(zhì)，從而保證了具有較高顯著性的局部圖像區(qū)域能夠提供充分的跟蹤信息。進一步，該方法討論了對目標(biāo)的結(jié)構(gòu)化建模問題，將局部圖像區(qū)域的空間關(guān)系建模成為互斥約束，并加入到對局部圖像區(qū)域的選擇中，從而保證了目標(biāo)表觀模型中的冗余信息最小化?；谠摫碛^模型，本文還給出了新的目標(biāo)定位策略和模型在線更新策略，從而保證了該表觀模型能夠有效應(yīng)對在視頻序列中發(fā)生的目標(biāo)表觀變化。
　?。?）提出一種基于低維

5、特征子空間的目標(biāo)表觀模型建模方法，該方法將目標(biāo)表觀模型定義為一組隨機的局部圖像區(qū)域，這組局部圖像區(qū)域是從一個過完備的特征空間中選擇得到，是對原始高維特征空間的低維近似，能夠有效捕捉到充分的跟蹤信息。整體運動目標(biāo)由該特征子空間構(gòu)成的向量表達。在連續(xù)幀匹配過程中，通過特征子空間的匹配來定位目標(biāo)物體。該方法的一個重要特點是簡單快速，能很好的滿足視頻跟蹤應(yīng)用對實時性的要求。
　?。?）提出一種適合于視頻跟蹤應(yīng)用的基于傳播融合的相似性度量方

6、法，該方法能有效挖掘不同特征類型之間的互補特性，并將它們?nèi)诤系揭粋€統(tǒng)一的相似性度量之中；同時，該方法能有效利用后續(xù)幀中的候選目標(biāo)之間的上下文結(jié)構(gòu)關(guān)系，從而有效改善相似性度量的魯棒性。該相似性度量方法的計算復(fù)雜度低，不依賴于特定的特征輸入，任意類型的特征均可作為該相似性度量方法的輸入。
　　本文從運動目標(biāo)表觀模型和相似性度量兩個角度出發(fā)，進行了深入而全面的研究，給出了一系列解決方法。理論分析以及實驗結(jié)果表明，本文所提出的兩種目標(biāo)表觀