足球視頻場(chǎng)景分析與三維重建的關(guān)鍵技術(shù)研究.pdf

1、多媒體信息的爆炸式增長(zhǎng)要求人們研究開發(fā)視頻檢索技術(shù)。近年來(lái)，以體育視頻內(nèi)容分析為主要目標(biāo)的研究已經(jīng)成為熱門領(lǐng)域。這項(xiàng)研究主要為觀眾提供精彩摘要并以多種形式呈現(xiàn)給用戶。雖然經(jīng)過(guò)十余年的努力，這一領(lǐng)域已經(jīng)取得了長(zhǎng)足進(jìn)步，但當(dāng)前取得的成績(jī)與人們的期望還有很大距離。
　　本文針對(duì)足球視頻場(chǎng)景分析與三維重建中的若干關(guān)鍵技術(shù)進(jìn)行了比較深入的研究，旨在提高它們的魯棒性和可應(yīng)用性。文中工作集中在以下三個(gè)方面：1）自動(dòng)的球場(chǎng)檢測(cè)算法，這項(xiàng)技術(shù)是場(chǎng)景

2、分析與三維重建工作中共用的技術(shù)；2）運(yùn)動(dòng)對(duì)象的檢測(cè)和跟蹤，在體育視頻中運(yùn)動(dòng)對(duì)象主要是指球員和球；3）從單視點(diǎn)廣播視頻中重建三維場(chǎng)景技術(shù)。本文的主要?jiǎng)?chuàng)新工作有：
　　1.本文提出了一種基于本征圖像的自動(dòng)球場(chǎng)顏色檢測(cè)算法。作為體育視頻
　　分析研究中一項(xiàng)關(guān)鍵技術(shù)，球場(chǎng)檢測(cè)嚴(yán)重地受到陰影區(qū)域的影響，此算法可以有效地克服這一困難。算法首先自動(dòng)地在色彩分布直方圖中檢測(cè)主顏色。因具有相似表面反射函數(shù)的像素值在正確的本征圖像投影方向投影后

3、，它們具有關(guān)于某一點(diǎn)對(duì)稱分布。依據(jù)此特性，算法用已檢測(cè)到的主顏色粗標(biāo)定本征圖像的投影方向。在此方向的指導(dǎo)下，算法根據(jù)本征圖像的分布來(lái)判斷第二主顏色是否是球場(chǎng)顏色的。此外，當(dāng)確定了球場(chǎng)中陰影區(qū)域和非陰影區(qū)域后，本文提出通過(guò)最大化二者本征圖像的分布相似度精細(xì)標(biāo)定相機(jī)的本征圖像的投影方向。實(shí)驗(yàn)表明此算法可以比較準(zhǔn)確地檢測(cè)球場(chǎng)顏色，同時(shí)精度的本征圖像投影方向?yàn)樵诤嘘幱皡^(qū)域的目標(biāo)跟蹤提供了一種光照不變的表觀特征。
　　2.本文提出了一種自

4、適應(yīng)的球場(chǎng)檢測(cè)算法。針對(duì)廣播視頻流中的數(shù)據(jù)具有
　　數(shù)量大、噪聲多、同時(shí)來(lái)自多部相機(jī)的特點(diǎn)，在檢測(cè)到的球場(chǎng)顏色的基礎(chǔ)上，算法采用高斯混合模型對(duì)其建模，并且利用增量期望最大算法對(duì)模型參數(shù)進(jìn)行在線估計(jì)。算法一方面提高了球場(chǎng)檢測(cè)的效果，另一方面減少訓(xùn)練過(guò)程對(duì)數(shù)據(jù)存儲(chǔ)的開銷。實(shí)驗(yàn)表明，由于增量學(xué)習(xí)方法不斷地強(qiáng)化模型的泛化能力，此算法取得了比單純的直方圖方法和一般的高斯混合模型方法更好的結(jié)果。
　　3.本文提出了一種順序數(shù)據(jù)關(guān)聯(lián)策略應(yīng)

5、用于多目標(biāo)的跟蹤。多運(yùn)動(dòng)目標(biāo)跟
　　蹤受到對(duì)象之間相互遮擋的困擾。因?yàn)楸荣悎?chǎng)地是平面，根據(jù)成像規(guī)律同一平面上物距大的目標(biāo)的像位于物距小的目標(biāo)的像的上部，此策略按照目標(biāo)的像的底邊位置關(guān)系，從下到上依次關(guān)聯(lián)各個(gè)目標(biāo)的觀測(cè)。與傳統(tǒng)的基于聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)方法相比，此策略大大減少了物距排列的搜索空間，提高了算法的效率，同時(shí)基本保證了基于此策略的數(shù)據(jù)關(guān)聯(lián)是貝葉斯意義下的最優(yōu)解。此外，本文提出一種最大化前景模板相似度同時(shí)最小化背景模板相似度的表

6、觀建模方法。這種方法在匹配目標(biāo)時(shí)，同時(shí)考慮了目標(biāo)背景的影響，從而有效地提高了跟蹤器的跟蹤性能。對(duì)于球的檢測(cè)和跟蹤，本文從實(shí)驗(yàn)角度上回答了只有跟蹤和檢測(cè)有機(jī)地結(jié)合才能取得更好的性能。
　　4.本文提出了一種從單視廣播視頻中重建三維場(chǎng)景的方法。方法根據(jù)圖像
　　平面和場(chǎng)地平面的對(duì)應(yīng)關(guān)系，并利用相機(jī)的自標(biāo)定方法聯(lián)合確定相機(jī)在場(chǎng)地中的位置；然后利用相機(jī)的位置、球的飛行平面、球的虛影之間的幾何關(guān)系，本文推導(dǎo)出球的三維位置估計(jì)公式。另外

7、，對(duì)于無(wú)法確定球的飛行平面的情況，本文提出一種基于物理限制的飛行平面預(yù)測(cè)算法。這種算法通過(guò)優(yōu)化一個(gè)新設(shè)計(jì)的耗費(fèi)函數(shù)，使其在最小值時(shí)對(duì)應(yīng)于球的最合理的三維軌跡。此方法的優(yōu)點(diǎn)是可以估計(jì)飛行中的球的三維位置而無(wú)需參考已知高度的物體；應(yīng)用此法的限制條件少，其只要求相機(jī)位置是固定的。實(shí)驗(yàn)表明，此三維重建方法取得了令人滿意的結(jié)果。
　　上述技術(shù)被應(yīng)用到足球視頻精彩檢測(cè)和精彩片斷的三維動(dòng)畫生成原型系統(tǒng)中去，取得了令人滿意的效果。雖然以足球視頻為