基于顯著性的視覺目標(biāo)跟蹤研究.pdf

1、隨著視頻采集設(shè)備的成本不斷降低，其普及率越來越高，使得各種來源的視頻數(shù)量正在急速增長。如何解放人力利用機(jī)器對視頻進(jìn)行自動(dòng)分析存在迫切需求。目標(biāo)跟蹤作為視頻自動(dòng)分析系統(tǒng)的關(guān)鍵，對理解視頻內(nèi)容、分析并識別目標(biāo)屬性起著重要作用，因此一直是學(xué)術(shù)界和工業(yè)界關(guān)注的研究課題。由于實(shí)際場景中存在諸多干擾因素，如目標(biāo)和場景的動(dòng)態(tài)變化、背景中相似物的干擾、目標(biāo)的變形遮擋、尺度變化和旋轉(zhuǎn)、以及運(yùn)動(dòng)模糊和噪聲等，目前設(shè)計(jì)穩(wěn)定可靠的跟蹤器仍然是具有挑戰(zhàn)的任務(wù)。心

2、理學(xué)研究表明，人的視覺系統(tǒng)存在選擇注意機(jī)制，使我們在處理視覺信息時(shí)能夠排除干擾，快速有效地從場景中篩選出感興趣對象信息。這種數(shù)據(jù)的篩選能力能夠極大地提高信息處理的效率。因此，本文基于人眼的視覺注意機(jī)制，開展了基于顯著性的目標(biāo)跟蹤研究。本文首先對視頻顯著性檢測問題進(jìn)行研究，然后研究了目標(biāo)跟蹤中的外觀建模與特征關(guān)聯(lián)匹配問題，最后從人眼的視覺注意機(jī)制入手，研究結(jié)合顯著性檢測的目標(biāo)跟蹤算法，以期提升跟蹤性能。
　　本研究主要內(nèi)容包括：⑴針

3、對視頻中待跟蹤目標(biāo)的自動(dòng)獲取問題，提出了基于底層視覺特征的視頻顯著性檢測方法。該方法首先檢測空間顯著性和時(shí)間顯著性，然后通過運(yùn)動(dòng)熵將二者動(dòng)態(tài)融合?？臻g顯著性檢測考慮三個(gè)因素：像素的空間位置，雙對比色和相似性分布。時(shí)間顯著性檢測利用光流特征計(jì)算運(yùn)動(dòng)的全局對比度。為了抑制場景中的運(yùn)動(dòng)噪聲提出一種平均光流直方圖（HOAOF）方法。相比于傳統(tǒng)的視頻顯著性檢測方法，當(dāng)存在攝像機(jī)和顯著對象同時(shí)運(yùn)動(dòng)時(shí)，本方法依舊能得到較好的檢測結(jié)果。⑵針對場景中底層

4、特征無法反映由高層語義對象驅(qū)動(dòng)的視覺顯著性問題，提出結(jié)合底層和高層特征的視頻顯著性檢測方法，并以新聞視頻為例研究了特定類型視頻中的高層語義特征對顯著性檢測的影響。其中自下而上注意力模型利用底層的視覺刺激，采取局部和全局相結(jié)合的方式檢測圖像顯著譜和運(yùn)動(dòng)顯著譜。在檢測圖像顯著譜時(shí)引入四元數(shù)圖像的概念，提出一種多尺度多顏色通道的四元數(shù)圖像顯著性檢測方法。在自上而下的注意力模型中通過檢測視頻圖像的通用高層語義特征（如人臉、行人和車輛），以及新聞

5、視頻中特有的高層特征（如播報(bào)員和閃光燈），生成自上而下的顯著譜。最后，將自下而上顯著譜與自上而下顯著譜融合得到視頻顯著譜。通過結(jié)合高層語義特征，本文方法能夠獲得和人眼更相近的檢測結(jié)果。⑶針對跟蹤過程中的目標(biāo)遮擋、旋轉(zhuǎn)和尺度變化等挑戰(zhàn)，提出基于一致性特征點(diǎn)選擇的目標(biāo)跟蹤方法。該方法利用特征點(diǎn)構(gòu)建目標(biāo)外觀模型，在跟蹤過程中采用空間幾何約束定義特征點(diǎn)的一致性，然后通過一種改進(jìn)的密度聚類方法選擇與目標(biāo)一致的興趣點(diǎn)。另外為了適應(yīng)跟蹤過程中目標(biāo)外觀

6、的變化，本文還采用顏色直方圖作為目標(biāo)的參考模板，用于計(jì)算跟蹤結(jié)果的置信度，然后據(jù)此更新目標(biāo)的外觀模型。該方法能夠克服目標(biāo)旋轉(zhuǎn)和尺度變化，而且在發(fā)生部分遮擋甚至完全遮擋時(shí)也能夠重新跟蹤到目標(biāo)。⑷針對特征點(diǎn)在低質(zhì)量圖像以及平坦圖像區(qū)域上檢測和匹配存在可靠性下降的問題，提出基于一致性判別區(qū)域的目標(biāo)跟蹤方法。該方法首先采用基于樣例的SVM選擇出具有高判別性的區(qū)域，利用這些判別區(qū)域?qū)Ω櫮繕?biāo)的外觀進(jìn)行建模，然后對這些判別區(qū)域分別進(jìn)行相關(guān)濾波跟蹤，

7、在跟蹤過程中計(jì)算每個(gè)判決區(qū)域的一致性。根據(jù)兩點(diǎn)要素定義判別區(qū)域的一致性：可跟蹤性和預(yù)測能力。根據(jù)一致性對跟蹤器和區(qū)域外觀進(jìn)行自適應(yīng)更新，并用于最終目標(biāo)的全局定位。實(shí)驗(yàn)結(jié)果顯示，利用一致性的判別區(qū)域進(jìn)行目標(biāo)跟蹤能夠有效提升跟蹤器的性能。⑸針對單一外觀模型和固定特征難以適應(yīng)目標(biāo)在復(fù)雜場景中面臨的外觀變化問題，在視頻顯著性研究的基礎(chǔ)上，提出一種顯著性特征加權(quán)的目標(biāo)跟蹤方法。該方法在目標(biāo)外觀構(gòu)造上采用兩種模型的融合，一種是結(jié)構(gòu)保持的統(tǒng)計(jì)外觀模型