基于幀間相關(guān)性分析的視頻顯著運(yùn)動(dòng)檢測(cè)方法研究

1、<p>　　中圖分類(lèi)號(hào)：TP391</p><p>　　論文編號(hào)：10006SY1406218</p><p><b>　　碩士學(xué)位論文</b></p><p>　　基于幀間相關(guān)性分析的視頻顯著運(yùn)動(dòng)檢測(cè)方法研究</p><p><b>　　作者姓名 王永光</b></p>

2、<p>　　學(xué)科專(zhuān)業(yè) 計(jì)算機(jī)應(yīng)用技術(shù)</p><p>　　指導(dǎo)教師 趙沁平 教授</p><p>　　培養(yǎng)學(xué)院 計(jì)算機(jī)學(xué)院</p><p>　　Research of video saliency detection based on inter-frame correlation analysis</p><p>

3、　　A Dissertation Submitted for the Degree of Master</p><p>　　Candidate：Wang Yongguang</p><p>　　Supervisor：Prof. Zhao Qinping</p><p>　　School of Computer Science & Engineering<

4、;/p><p>　　Beihang University, Beijing, China</p><p>　　中圖分類(lèi)號(hào)：TP391</p><p>　　論文編號(hào)：10006SY1406218</p><p>　　碩 士 學(xué) 位 論 文</p><p>　　基于幀間相關(guān)性分析的視頻顯著運(yùn)動(dòng)檢測(cè)方法研究</p

5、><p>　　作者姓名 王永光 申請(qǐng)學(xué)位級(jí)別 工學(xué)碩士</p><p>　　指導(dǎo)教師姓名 趙沁平 職 稱 教授</p><p>　　學(xué)科專(zhuān)業(yè) 計(jì)算機(jī)應(yīng)用技術(shù) 研究方向 虛擬現(xiàn)實(shí)與計(jì)算機(jī)視覺(jué)</p><p>　　學(xué)習(xí)時(shí)間自

6、 年 月 日 起 至 年 月 日 止</p><p>　　論文提交日期 年 月 日 論文答辯日期 年 月 日</p><p>　　學(xué)位授予單位 北京航空航天大學(xué) 學(xué)位授予日期 年 月 日</p><p>　　關(guān)于學(xué)位論文的獨(dú)創(chuàng)性聲明&l

7、t;/p><p>　　本人鄭重聲明：所呈交的論文是本人在指導(dǎo)教師指導(dǎo)下獨(dú)立進(jìn)行研究工作所取得的成果，論文中有關(guān)資料和數(shù)據(jù)是實(shí)事求是的。盡我所知，除文中已經(jīng)加以標(biāo)注和致謝外，本論文不包含其他人已經(jīng)發(fā)表或撰寫(xiě)的研究成果，也不包含本人或他人為獲得北京航空航天大學(xué)或其它教育機(jī)構(gòu)的學(xué)位或?qū)W歷證書(shū)而使用過(guò)的材料。與我一同工作的同志對(duì)研究所做的任何貢獻(xiàn)均已在論文中作出了明確的說(shuō)明。</p><p>　　若有

8、不實(shí)之處，本人愿意承擔(dān)相關(guān)法律責(zé)任。</p><p>　　學(xué)位論文作者簽名：        日期： 年 月 日</p><p><b>　　學(xué)位論文使用授權(quán)書(shū)</b></p><p>　　本人完全同意北京航空航天大學(xué)有權(quán)使用本學(xué)

9、位論文（包括但不限于其印刷版和電子版），使用方式包括但不限于：保留學(xué)位論文，按規(guī)定向國(guó)家有關(guān)部門(mén)（機(jī)構(gòu)）送交學(xué)位論文，以學(xué)術(shù)交流為目的贈(zèng)送和交換學(xué)位論文，允許學(xué)位論文被查閱、借閱和復(fù)印，將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索，采用影印、縮印或其他復(fù)制手段保存學(xué)位論文。</p><p>　　保密學(xué)位論文在解密后的使用授權(quán)同上。</p><p>　　學(xué)位論文作者簽名：

10、 日期： 年 月 日</p><p>　　指導(dǎo)教師簽名： 日期： 年 月 日</p><p><b>　　摘 要</b></p><p>　　近年相關(guān)領(lǐng)域關(guān)于視頻顯著性檢測(cè)已經(jīng)進(jìn)行了大量的研究，盡管已經(jīng)取得一定的

11、成果，但目前對(duì)于其實(shí)際應(yīng)用仍然存在一些傳統(tǒng)方法無(wú)法克服的局限性，如對(duì)非固定相機(jī)視頻的運(yùn)動(dòng)物體檢測(cè)、對(duì)運(yùn)動(dòng)緩慢的物體檢測(cè)等，這些局限性將會(huì)對(duì)后續(xù)應(yīng)用造成重大不利影響，因此當(dāng)前急需一種更為魯棒、更穩(wěn)定、更準(zhǔn)確的顯著運(yùn)動(dòng)檢測(cè)方法。根據(jù)對(duì)人類(lèi)的視覺(jué)成像系統(tǒng)工作原理的機(jī)器視覺(jué)理解，即顯著運(yùn)動(dòng)的物體主要從兩方面吸引人類(lèi)視覺(jué)系統(tǒng)：運(yùn)動(dòng)顯著性以及顏色顯著性，提出一種結(jié)合光流速度場(chǎng)和顏色場(chǎng)的顯著運(yùn)動(dòng)物體檢測(cè)方法。首先根據(jù)運(yùn)動(dòng)場(chǎng)和顏色場(chǎng)結(jié)合得到初步的顯著值

12、分布圖，并在此基礎(chǔ)上根據(jù)幀間相關(guān)性采用自適應(yīng)傳遞對(duì)初步的結(jié)果進(jìn)行修正，從而得到最終的結(jié)果。并且，結(jié)合在4個(gè)公共數(shù)據(jù)集上的定量分析結(jié)果表明，本文提出的方法較傳統(tǒng)方法能夠獲得更穩(wěn)定、精確的視頻顯著性檢測(cè)結(jié)果。本文主要工作成果及進(jìn)展包括：</p><p>　　1. 基于運(yùn)動(dòng)顏色梯度圖的底層顯著性結(jié)果計(jì)算：一個(gè)完整的視頻幀序列中，可以根據(jù)相鄰的圖像幀計(jì)算出每一幀的光流，本文采用對(duì)比度計(jì)算的方式來(lái)并使用運(yùn)動(dòng)顏色梯度圖來(lái)指導(dǎo)

13、計(jì)算出每一個(gè)超像素的顯著度，根據(jù)每一個(gè)超像素所計(jì)算出的光流，結(jié)合事先計(jì)算的運(yùn)動(dòng)顏色梯度圖，再計(jì)算出每一個(gè)超像素的運(yùn)動(dòng)顯著度，從而得到每一幀的運(yùn)動(dòng)顯著圖。同樣對(duì)于單幀圖像，衡量其顯著度的關(guān)鍵是其顏色與圖像中其他部分顏色的對(duì)比度，所以根據(jù)顏色場(chǎng)的分布，在運(yùn)動(dòng)顏色梯度圖的引導(dǎo)下，從而計(jì)算出在每一個(gè)超像素位置的顏色顯著值，以得到每一幀圖像的顏色顯著圖，并將它們進(jìn)行融合之后就可以得到圖像幀的初步顯著值結(jié)果。</p><p>

14、;　　2．具有結(jié)構(gòu)信息的描述子構(gòu)造以及低秩計(jì)算：在得到初步的結(jié)果之后，首先需要對(duì)得到的底層顯著性結(jié)果進(jìn)行二值分割，將顯著超像素與背景超像素分離，由于在這里我們需要找出可靠地幀來(lái)對(duì)正確顯著值進(jìn)行傳遞，所以在這里我們使用低秩的方式來(lái)構(gòu)造，以得到可靠幀。而在得到這些信息之后，構(gòu)造出對(duì)結(jié)構(gòu)敏感的描述子，用以接下來(lái)的自適應(yīng)學(xué)習(xí)傳遞，我們根據(jù)運(yùn)動(dòng)顏色梯度圖，構(gòu)造具有另外三個(gè)非顯著超像素作為約束的超像素描述子。</p><p>

15、;　　3. 基于底層顯著性結(jié)果的自適應(yīng)傳遞：在得到初步的顯著圖分布之后，需要使用可靠地顯著超像素對(duì)相鄰幀進(jìn)行傳遞，這里分為幀傳遞以及庫(kù)傳遞兩種。幀傳遞是指可靠幀向相鄰的幀使用對(duì)結(jié)構(gòu)敏感的描述子不斷迭代的傳遞，并且不斷在傳遞過(guò)程中對(duì)底層顯著性結(jié)果進(jìn)行修正優(yōu)化。而庫(kù)傳遞是將可靠的顯著超像素存入超像素傳遞庫(kù)中，使用庫(kù)中的顯著超像素對(duì)全局進(jìn)行傳遞，將傳遞結(jié)果與底層顯著性結(jié)果進(jìn)行融合對(duì)底層顯著性結(jié)果進(jìn)行修正，并不斷的對(duì)庫(kù)進(jìn)行更新，如此不斷迭代，以

16、得到最后的結(jié)果。</p><p>　　本文驗(yàn)證方法正確性使用了4個(gè)公開(kāi)的數(shù)據(jù)集，根據(jù)與groundtruth對(duì)比，本文的準(zhǔn)確率能達(dá)到90%以上，在準(zhǔn)確率、可信度、魯棒性、多樣性等方面能夠比肩一些現(xiàn)有先進(jìn)的方法。</p><p>　　關(guān)鍵詞：傳遞，顯著性，對(duì)比，視頻，檢測(cè)</p><p><b>　　Abstract</b></p>

17、<p>　　Although a lot of studies in salient motion detection have achieved great success in recent years, many challenges still exist toward the video saliency detection over the non-stationary videos and videos wit

18、h slowly-moving objects, which supposes to exhibit significant influence on its corresponding subsequent applications. Thus, it urgently needs a more robust, stable, and precise method to solve the above mentioned limita

19、tions. In fact, inspired from the basic visualization rule of the human </p><p>　　1. Calculate the initial result based on the motion color gradient graph: In a complete video frame sequence, the optical flo

20、w of each frame can be calculated from the adjacent image frames. In this paper, the contrast compute method is used and the motion color gradient to instruct the saliency of each super-pixel. According to each optical p

21、ixel calculated by the super-pixel, combined with the previously calculated motion color gradient, and then calculate motion degree of every super-pixel, s</p><p>　　2. Structure-aware Saliency Description an

22、d Low-Rank Computing: After obtaining the preliminary results, we first need to divide the result to get the Binary Segmentation result, separating the significant super-pixel from the background super-pixel, since we ne

23、ed to find a reliable frame to transfer the correct salient value, so here we construct low rank matrix to get a reliable frame. After constructing this information, we construct a structurally sensitive descriptor for t

24、he next adaptive l</p><p>　　3. Adaptive transfer based on preliminary results: After obtaining the initial significant graph distribution, it is necessary to use reliable super-pixel to correct adjacent fram

25、es, which are divided into frame transfer and library transfer. Frame transfer is that reliable frames use Structure-aware Saliency descriptor to transfer iteration, and continually correct the initial results in the del

26、ivery process. And the library transfer put reliable super-pixel into the super-pixel transfer librar</p><p>　　In this paper, to verify the correctness of our method , we conduct extensive experiments on 5 p

27、ublic available benchmarks, and make comprehensive, quantitative evaluations between our method and 5 state-of-the-art techniques. All results demonstrate the superiority of our method in accuracy, reliability, robustnes

28、s, and versatility. </p><p>　　Keywords: transfer, saliency, contrast, video, detection</p><p><b>　　目 錄</b></p><p><b>　　第一章緒論1</b></p><p>　　

29、1.1選題背景與來(lái)源1</p><p><b>　　1.2究意義2</b></p><p>　　1.3研究目標(biāo)與內(nèi)容4</p><p>　　1.4論文組織結(jié)構(gòu)6</p><p>　　第二章關(guān)鍵技術(shù)及研究現(xiàn)狀8</p><p>　　2.1顯著運(yùn)動(dòng)檢測(cè)簡(jiǎn)介8</p>

30、<p>　　2.1.1基于視頻幀間差異度的視頻顯著運(yùn)動(dòng)檢測(cè)10</p><p>　　2.1.2基于非顯著性背景模型的視頻顯著運(yùn)動(dòng)檢測(cè)10</p><p>　　2.1.3基于運(yùn)動(dòng)模型的視頻顯著運(yùn)動(dòng)檢測(cè)11</p><p>　　2.2圖像特征表示12</p><p>　　2.2.1基于顏色的圖像特征13</

31、p><p>　　2.2.2基于紋理的圖像特征16</p><p>　　2.2.3基于梯度的圖像特征17</p><p>　　2.2.4圖像特征現(xiàn)狀總結(jié)20</p><p>　　2.3超像素分割21</p><p>　　2.3.1Lab色彩空間簡(jiǎn)介24</p><p>　　2.4

32、低分析25</p><p>　　2.4.1基于RPCA的低秩恢復(fù)方法28</p><p>　　2.4.2基于BRP的低秩恢復(fù)方法29</p><p><b>　　2.5光流29</b></p><p>　　2.5.1基于梯度的光流計(jì)算方法30</p><p>　　2.5.2基于

33、匹配的光流計(jì)算方法30</p><p>　　2.5.3基于能量的光流計(jì)算方法31</p><p>　　2.5.4基于相位的光流計(jì)算方法31</p><p>　　2.6本章小結(jié)31</p><p>　　第三章基于運(yùn)動(dòng)顏色梯度圖的底層顯著性結(jié)果計(jì)算33</p><p>　　3.1運(yùn)動(dòng)顏色梯度圖33&l

34、t;/p><p>　　3.2顯著性信息計(jì)算35</p><p>　　3.2.1顏色空間預(yù)處理35</p><p>　　3.2.2基于局部對(duì)比度的顏色顯著性計(jì)算37</p><p>　　3.2.3基于局部對(duì)比度的運(yùn)動(dòng)顯著性計(jì)算40</p><p>　　3.3底層顯著性信息的平滑與融合42</p>

35、;<p>　　3.4本章小結(jié)44</p><p>　　第四章具有結(jié)構(gòu)信息的描述子構(gòu)造46</p><p>　　4.1前景物體大小的預(yù)計(jì)算46</p><p>　　4.2迭代二值分割48</p><p>　　4.3結(jié)構(gòu)敏感的描述子50</p><p>　　4.4基于結(jié)構(gòu)敏感的描述子的顯

36、著值傳遞53</p><p>　　4.5本章小結(jié)55</p><p>　　第五章基于低秩分析的顯著融合56</p><p>　　5.1幀段分解56</p><p>　　5.2低秩分析指導(dǎo)下的顯著性融合57</p><p>　　5.3自適應(yīng)學(xué)習(xí)59</p><p>　　5.3

37、.1相鄰幀間的自適應(yīng)學(xué)習(xí)傳遞62</p><p>　　5.3.2基于顯著超像素學(xué)習(xí)庫(kù)的自適應(yīng)學(xué)習(xí)傳遞63</p><p>　　5.4更新顯著值分布圖64</p><p>　　5.5本章小結(jié)65</p><p>　　第六章實(shí)驗(yàn)結(jié)果分析66</p><p>　　6.1參數(shù)選擇66</p>

38、<p>　　6.2定量對(duì)比67</p><p><b>　　總結(jié)與展望72</b></p><p>　　1論文工作總結(jié)72</p><p>　　2未來(lái)工作展望72</p><p><b>　　參考文獻(xiàn)74</b></p><p>　　攻讀碩士期間

39、取得的學(xué)術(shù)成果82</p><p><b>　　致 謝83</b></p><p><b>　　圖 目</b></p><p>　　圖 1 視頻顯著運(yùn)動(dòng)檢測(cè)示意圖2</p><p>　　圖 2 本文方法流程圖5</p><p>　　圖 3 顯著運(yùn)動(dòng)檢

40、測(cè)8</p><p>　　圖 4 基于視頻幀間對(duì)比度的視頻顯著性動(dòng)作檢測(cè)圖10</p><p>　　圖 5 基于運(yùn)動(dòng)層聚類(lèi)的視頻顯著性動(dòng)作檢測(cè)11</p><p>　　圖 6 基于顯著性運(yùn)動(dòng)軌跡的顯著性動(dòng)作檢測(cè)12</p><p>　　圖 7 RGB顏色空間示意圖14</p><p>　　圖 8 H

41、SV色彩空間示意圖14</p><p>　　圖 9 加法混色法與減法混色法15</p><p>　　圖 10 Lab模型15</p><p>　　圖 11 樹(shù)木紋理與動(dòng)物皮毛紋理對(duì)比16</p><p>　　圖 12 LBP編碼示意圖17</p><p>　　圖 13 多尺度高斯濾波差分圖計(jì)算示意圖

42、18</p><p>　　圖 15 SIFT尺度空間示意圖18</p><p>　　圖 16 關(guān)鍵點(diǎn)鄰域梯度信息的統(tǒng)計(jì)分布示意圖19</p><p>　　圖 17 積分圖像19</p><p>　　圖 18 HOG特征提取示意圖20</p><p>　　圖 19 超像素分割示意22</p&g

43、t;<p>　　圖 20 基于圖分割的超像素分割算法[51]22</p><p>　　圖 21 不同超像素方法分割結(jié)果24</p><p>　　圖 22 使用低秩分析方法進(jìn)行顯著物體檢測(cè)27</p><p>　　圖 23 低秩圖像結(jié)構(gòu)提取27</p><p>　　圖 24 低秩紋理結(jié)構(gòu)修復(fù)27</p&g

44、t;<p>　　圖 25 人臉圖像28</p><p>　　圖 26 光流結(jié)果示意圖30</p><p>　　圖 27 運(yùn)動(dòng)顏色梯度示意圖34</p><p>　　圖 28 SLIC超像素分割流程圖36</p><p>　　圖 29 對(duì)比度計(jì)算方法結(jié)果對(duì)比38</p><p>　　圖

45、30 本文方法計(jì)算的顏色顯著度與方法[77]對(duì)比39</p><p>　　圖 31 底層顯著性結(jié)果計(jì)算說(shuō)明.41</p><p>　　圖 32 平滑結(jié)果顯示42</p><p>　　圖 33 融合效果示意圖43</p><p>　　圖 34 聚類(lèi)示意圖47</p><p>　　圖 35 底層顯著性

46、結(jié)果二值分割48</p><p>　　圖 36 結(jié)構(gòu)敏感的描述子構(gòu)造過(guò)程49</p><p>　　圖 37 傳遞流程以及結(jié)果對(duì)比54</p><p>　　圖 38 融合效果示意圖56</p><p>　　圖 39 PR曲線對(duì)比58</p><p>　　圖 40 結(jié)果對(duì)比59</p>

47、<p>　　圖 41 定量分析60</p><p><b>　　表 目</b></p><p>　　表 1 時(shí)間效率對(duì)比57</p><p><b>　　緒論</b></p><p><b>　　選題背景與來(lái)源</b></p><p&

48、gt;　　近年來(lái)，顯著性檢測(cè)備受關(guān)注，與將整個(gè)場(chǎng)景分割成離散部分的傳統(tǒng)分割問(wèn)題不同的是，顯著性檢測(cè)的目的是發(fā)現(xiàn)語(yǔ)義區(qū)域，過(guò)濾掉不重要的區(qū)域。它的想法來(lái)自人的視覺(jué)系統(tǒng)，人的視覺(jué)系統(tǒng)第一階段就是一個(gè)快速而簡(jiǎn)單的前注意處理過(guò)程[1]。顯著性運(yùn)動(dòng)檢測(cè)作為計(jì)算機(jī)視覺(jué)應(yīng)用中的一個(gè)比較重要課題，是因?yàn)樗鼮樵S多視覺(jué)應(yīng)用提供了一種快速的預(yù)處理。</p><p>　　對(duì)顯著性運(yùn)動(dòng)檢測(cè)的研究包含了兩個(gè)內(nèi)容：圖像和視頻。對(duì)基于圖像的顯著

49、性檢測(cè)，我們希望找到那些與背景不同的區(qū)域，例如，在森林中的鹿。而對(duì)基于視頻的顯著性檢測(cè)則是一個(gè)與基于圖像的視頻檢測(cè)不一樣的問(wèn)題，它的目的是從一個(gè)視頻序列中找出與背景不同的顯著運(yùn)動(dòng)[2]。有可能是一個(gè)奔跑在沙灘上的人，又或者是檢測(cè)序列中的跳動(dòng)的心臟。準(zhǔn)確、有效率的確定顯著運(yùn)動(dòng)物體的位置對(duì)于很多視頻理解應(yīng)用是一個(gè)非常重要的預(yù)處理步驟。但是視頻顯著運(yùn)動(dòng)檢測(cè)仍然是一個(gè)具有挑戰(zhàn)性的問(wèn)題，因?yàn)橐曨l會(huì)有各種各樣的背景的運(yùn)動(dòng)[3]。為了解決這個(gè)問(wèn)題，有

50、很多的方法被提出來(lái)：如高斯混合模型（Gaussian Mixture Model GMM）[4]、非參數(shù)核密度估計(jì)（Nonparametric Kernel Density Estimation）[5]、結(jié)合運(yùn)動(dòng)信息的自適應(yīng)KDE（adaptive KDE combined with motion information）[6]、貝葉斯學(xué)習(xí)方法（Bayesian Learning approach）[7]、線性動(dòng)態(tài)模型（Linear D

51、ynamic Model）[8]、魯棒的卡爾曼濾波（R</p><p>　　圖 1 視頻顯著運(yùn)動(dòng)檢測(cè)示意圖</p><p><b>　　研究意義</b></p><p>　　計(jì)算機(jī)視覺(jué)是一門(mén)研究如何使計(jì)算機(jī)通過(guò)圖像以及視頻的方式來(lái)理解世界、描述世界以及還原世界的科學(xué)。而視頻顯著運(yùn)動(dòng)檢測(cè)技術(shù)是計(jì)算機(jī)視覺(jué)中的基本問(wèn)題之一，也是后續(xù)一系列如對(duì)安保、

52、監(jiān)控、刑偵、娛樂(lè)等其他相關(guān)領(lǐng)域進(jìn)行應(yīng)用的基礎(chǔ)。</p><p>　　人類(lèi)獲得的信息的百分之八十三來(lái)自視覺(jué)，百分之十一來(lái)自聽(tīng)覺(jué)，剩下的則來(lái)自嗅覺(jué)，觸覺(jué)和味覺(jué)，人們對(duì)圖像以及視頻中所表現(xiàn)出的大量信息最為關(guān)注，在人類(lèi)記憶中停留的時(shí)間最長(zhǎng)。雖然圖像包羅萬(wàn)象、種類(lèi)繁多，但是對(duì)于一些具有特定屬性的圖像集或者視頻，現(xiàn)在人們一般可以無(wú)意識(shí)地分析出這些圖像或者視頻中所包含的人們關(guān)心的信息并對(duì)其加以利用，例如：在安全保護(hù)、影視、追蹤

53、等領(lǐng)域，人們不斷的對(duì)圖像集中的相關(guān)性信息進(jìn)行分析利用，來(lái)對(duì)圖像分割、視頻監(jiān)控、目標(biāo)跟蹤識(shí)別和目標(biāo)識(shí)別等分析工作。</p><p>　　視覺(jué)感知機(jī)理的研究表明：人類(lèi)的視覺(jué)系統(tǒng)在某種程度上是具有很高效率并且具備高可靠性的圖像處理系統(tǒng)，而且大腦神經(jīng)元在對(duì)某個(gè)刺激信號(hào)進(jìn)行處理的過(guò)程中，僅有稀疏的神經(jīng)元參與信號(hào)編碼。因而，根據(jù)人類(lèi)感知系統(tǒng)的特性，并以具體計(jì)算機(jī)應(yīng)用需求為驅(qū)動(dòng)，圍繞圖像集的簡(jiǎn)潔表示和相關(guān)性分析展開(kāi)研究，對(duì)促進(jìn)

54、神經(jīng)學(xué)、認(rèn)知心理學(xué)等學(xué)科的理論研究產(chǎn)生重要的實(shí)踐意義。同時(shí)，其在相關(guān)領(lǐng)域的推廣應(yīng)用，使用圖像作為表達(dá)方式，減輕人們?nèi)粘Ｉ钪挟a(chǎn)生的大量的信息帶來(lái)的大數(shù)據(jù)壓力，并改善處理、存儲(chǔ)和傳輸信息的方式，降低成本，從長(zhǎng)遠(yuǎn)來(lái)看，成本的降低對(duì)計(jì)算機(jī)應(yīng)用方面的發(fā)展具有深遠(yuǎn)的作用。</p><p>　　視頻圖像作為一類(lèi)特殊的數(shù)據(jù)類(lèi)型，特定的視頻中的圖像幀往往具有強(qiáng)相關(guān)性和結(jié)構(gòu)相似性，如：連續(xù)跟蹤拍攝的汽車(chē)、從遠(yuǎn)到近的人物、PCI手術(shù)

55、中前進(jìn)的導(dǎo)管等。如何從大量的視頻數(shù)據(jù)集中提取它們的“共性結(jié)構(gòu)”，并利用這些共性信息來(lái)指導(dǎo)具有低秩特性的特征空間的構(gòu)建，通過(guò)融合全局、局部信息為用戶提供更為理想的視頻圖像顯著運(yùn)動(dòng)檢測(cè)手段，如在PCI手術(shù)中對(duì)自動(dòng)對(duì)導(dǎo)管頭部進(jìn)行檢測(cè)，這對(duì)機(jī)器視覺(jué)以及與其相關(guān)的其它領(lǐng)域研究具有重要的現(xiàn)實(shí)意義。</p><p>　　近些年，在單幀靜態(tài)圖像上顯著性檢測(cè)算法的研究很多：Itti[10]通過(guò)對(duì)多尺度圖像顯著性特征進(jìn)行融合，并將結(jié)

56、果作為最終的顯著性目標(biāo)的檢測(cè)結(jié)果；Hou[11]提出基于傅里葉譜殘差的顯著目標(biāo)檢測(cè)方法；Achanta[12]通過(guò)對(duì)顏色與亮度等信息的融合得到顯著值分布圖。經(jīng)過(guò)多年的實(shí)際研究，人們發(fā)現(xiàn)衡量單幀圖像顯著性最重要的方式是進(jìn)行局部對(duì)比，例如顏色對(duì)比、形狀對(duì)比[13]，在一張圖像中，最顯著的前景物體通常較其周?chē)尘安糠钟兄^高的對(duì)比度，而非顯著性背景區(qū)域則與其周?chē)町愝^小。近年來(lái)，在計(jì)算機(jī)視覺(jué)方面有很多基于對(duì)比的顯著性檢測(cè)方法被相繼提出，如ch

57、eng[13]等人提出了基于區(qū)域?qū)Ρ榷鹊娘@著性檢測(cè)方法，類(lèi)似的，Perazzi[14]將圖像進(jìn)行超像素分割，并通過(guò)對(duì)比超像素的顏色獨(dú)特性以及其在顏色特征空間的分布差異性來(lái)得到顯著性圖。盡管這些基于局部對(duì)比度的方法對(duì)于一般的自然場(chǎng)景的顯著性物體檢測(cè)有著較為理想的檢測(cè)結(jié)果，然而，傳統(tǒng)的局限性仍然無(wú)法克服，即由于局部對(duì)比度容易對(duì)大體積物體的中心區(qū)域造成顯著性漏檢，并最終導(dǎo)致空洞現(xiàn)象。因此，如何進(jìn)行對(duì)比度的計(jì)算則是顯著性檢測(cè)的一個(gè)重要的問(wèn)題。&

58、lt;/p><p>　　根據(jù)人類(lèi)的視覺(jué)成像的系統(tǒng)，人類(lèi)的眼睛對(duì)于運(yùn)動(dòng)物體的關(guān)注度較單一圖像的顏色顯著性更高。因此，對(duì)單幀圖像的顯著性檢測(cè)與視頻顯著性檢測(cè)會(huì)存在一定的不同，即視頻顯著性檢測(cè)算法需要更加關(guān)注運(yùn)動(dòng)上的信息。相對(duì)于單幀圖像顏色的對(duì)比，運(yùn)動(dòng)的差異則是衡量視頻顯著性的一個(gè)重要的因素，并且運(yùn)動(dòng)的對(duì)比以及顏色對(duì)比得到的顯著性往往能夠互相彌補(bǔ)，使得結(jié)果更加準(zhǔn)確。但是，簡(jiǎn)單的將這兩個(gè)顯著圖進(jìn)行融合很難得到一個(gè)魯棒的結(jié)果，

59、并且由于對(duì)比計(jì)算方法的問(wèn)題，當(dāng)顏色顯著圖以及運(yùn)動(dòng)顯著圖都不準(zhǔn)確時(shí)，最終的結(jié)果也會(huì)出現(xiàn)問(wèn)題。</p><p>　　本文通過(guò)結(jié)合視頻幀時(shí)空關(guān)聯(lián)性以及低秩分析，通過(guò)算法集成和實(shí)現(xiàn)一個(gè)視頻顯著運(yùn)動(dòng)檢測(cè)工具，對(duì)計(jì)算機(jī)視覺(jué)中的其它領(lǐng)域的應(yīng)用提供有力的支持，對(duì)計(jì)算機(jī)視覺(jué)應(yīng)用的研究具有重要的實(shí)際意義。</p><p><b>　　研究目標(biāo)與內(nèi)容</b></p><

60、p>　　論文的研究目標(biāo)：針對(duì)顯著運(yùn)動(dòng)檢測(cè)在面對(duì)復(fù)雜視頻（背景變化，相機(jī)抖動(dòng)等）時(shí)檢測(cè)困難的情況，通過(guò)對(duì)視頻相鄰幀間關(guān)系和自適應(yīng)學(xué)習(xí)傳遞方法的研究，研究并實(shí)現(xiàn)一種采用以超像素（Super-Pixel）為單位、結(jié)合視頻相鄰幀間關(guān)系和自適應(yīng)學(xué)習(xí)傳遞的顯著運(yùn)動(dòng)檢測(cè)方法，并將其運(yùn)用到視頻中的顯著運(yùn)動(dòng)檢測(cè)，以提高視頻顯著運(yùn)動(dòng)檢測(cè)的準(zhǔn)確率，滿足顯著運(yùn)動(dòng)檢測(cè)在安全控制、交通監(jiān)督、醫(yī)學(xué)領(lǐng)域等應(yīng)用的需求。方法流程圖如圖 2所示。</p>

61、<p>　　針對(duì)上述研究目標(biāo)，主要研究?jī)?nèi)容分為如下三點(diǎn)：</p><p>　　1）基于運(yùn)動(dòng)顏色梯度圖的底層顯著性結(jié)果計(jì)算：一個(gè)完整的視頻幀序列中，可以根據(jù)相鄰的圖像幀計(jì)算出每一幀的光流，本文采用對(duì)比度計(jì)算的方式來(lái)并使用運(yùn)動(dòng)顏色梯度圖來(lái)指導(dǎo)計(jì)算出每一個(gè)超像素的顯著度，根據(jù)每一超像素的光流，結(jié)合事先計(jì)算的運(yùn)動(dòng)顏色梯度圖，計(jì)算出每一個(gè)超像素的運(yùn)動(dòng)顯著度，從而得到每一幀的運(yùn)動(dòng)顯著圖。同樣對(duì)于單幀圖像，衡量其顯

62、著度的關(guān)鍵是其顏色與圖像中其他部分顏色的對(duì)比度，所以根據(jù)顏色場(chǎng)的分布，以運(yùn)動(dòng)顏色梯度圖引導(dǎo)，從而計(jì)算出每一個(gè)超像素的顏色顯著度，得到每一幀的顏色顯著圖。將它們進(jìn)行融合之后就可以得到圖像幀的初步顯著值結(jié)果。</p><p>　　2）具有結(jié)構(gòu)信息的描述子構(gòu)造以及低秩計(jì)算：在得到初步的結(jié)果之后，首先需要對(duì)得到的底層顯著性結(jié)果進(jìn)行二值分割，將顯著超像素與背景超像素分離，由于在這里我們需要找出可靠地幀來(lái)對(duì)正確顯著值進(jìn)行傳遞

63、，所以在這里我們使用低秩的方式來(lái)構(gòu)</p><p>　　造，以得到可靠幀。而在得到這些信息之后，構(gòu)造出對(duì)結(jié)構(gòu)敏感的描述子，用以接下來(lái)的自適應(yīng)學(xué)習(xí)傳遞，我們根據(jù)運(yùn)動(dòng)顏色梯度圖，構(gòu)造具有另外三個(gè)非顯著超像素作為約束的超像素描述子。</p><p>　　圖 2 本文方法關(guān)系圖</p><p>　　3） 基于底層顯著性結(jié)果的自適應(yīng)傳遞：在得到初步的顯著圖分布之后，需要使用

64、可靠地顯著超像素對(duì)相鄰幀進(jìn)行傳遞，這里分為幀傳遞以及庫(kù)傳遞兩種。幀傳遞是指可靠幀向相鄰的幀使用對(duì)結(jié)構(gòu)敏感的描述子不斷迭代的傳遞，并且不斷在傳遞過(guò)程中對(duì)底層顯著性結(jié)果進(jìn)行修正優(yōu)化。而庫(kù)傳遞是將可靠的顯著超像素存入超像素傳遞庫(kù)中，使用庫(kù)中的顯著超像素對(duì)全局進(jìn)行傳遞，將傳遞結(jié)果與底層顯著性結(jié)果進(jìn)行融合對(duì)底層顯著性結(jié)果進(jìn)行修正，并不斷的對(duì)庫(kù)進(jìn)行更新，如此不斷迭代，以得到最后的結(jié)果。</p><p><b>　　

65、論文組織結(jié)構(gòu)</b></p><p>　　按照研究工作的背景、內(nèi)容以及步驟，本文會(huì)對(duì)本文所研究的分為六個(gè)部分進(jìn)行展開(kāi)敘述，各部分的具體內(nèi)容如下：</p><p>　　第一章 緒論。本章簡(jiǎn)要的介紹了顯著運(yùn)動(dòng)檢測(cè)方法在近些年的發(fā)展背景以及需求，并通過(guò)對(duì)傳統(tǒng)方法的研究列舉出顯著運(yùn)動(dòng)檢測(cè)方法技術(shù)在當(dāng)前所遇到的問(wèn)題，針對(duì)顯著運(yùn)動(dòng)檢測(cè)方法目前的研究現(xiàn)狀和需求，提出了當(dāng)前研究一種自適應(yīng)學(xué)習(xí)顯

66、著運(yùn)動(dòng)檢測(cè)方法的意義，并介紹本文的研究目標(biāo)與主要研究?jī)?nèi)容等。</p><p>　　第二章 關(guān)鍵技術(shù)及研究現(xiàn)狀。在這一章中會(huì)介紹與本文研究?jī)?nèi)容相關(guān)的一些技術(shù)的研究背景，并對(duì)相關(guān)理論技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀進(jìn)行調(diào)研。首先介紹本文的研究?jī)?nèi)容顯著運(yùn)動(dòng)檢測(cè)的相關(guān)概念和近些年國(guó)內(nèi)外研究現(xiàn)狀，并對(duì)顯著運(yùn)動(dòng)檢測(cè)的三種主要方法：基于視頻幀間對(duì)比度的視頻顯著運(yùn)動(dòng)檢測(cè)、基于非顯著性背景模型的視頻顯著運(yùn)動(dòng)檢測(cè)、基于運(yùn)動(dòng)模型的視頻顯著運(yùn)動(dòng)檢測(cè)

67、進(jìn)行論述。然后根據(jù)在本文的研究在實(shí)際的應(yīng)用中會(huì)涉及到的主要方法，在本章中將分別介紹圖像特征表示、超像素分割、低秩分析以及光流的研究現(xiàn)狀。</p><p>　　第三章 基于運(yùn)動(dòng)顏色梯度圖的底層顯著性結(jié)果計(jì)算。為了能夠有效地計(jì)算圖像的顯著度，并且降低計(jì)算的代價(jià)，將會(huì)介紹將圖像進(jìn)行分割為超像素的步驟以及優(yōu)點(diǎn)，并且介紹當(dāng)前一些超像素分割方法。并對(duì)接下來(lái)會(huì)使用的運(yùn)動(dòng)顏色梯度圖進(jìn)行介紹，并敘述如何計(jì)算得到運(yùn)動(dòng)顏色梯度圖。接下

68、來(lái)根據(jù)單幀圖像顏色場(chǎng)在運(yùn)動(dòng)顏色梯度圖的指導(dǎo)下進(jìn)行對(duì)比度計(jì)算得到的顏色顯著圖以及使用光流算法得到的視頻序列光流場(chǎng)在運(yùn)動(dòng)顏色梯度圖的指導(dǎo)下進(jìn)行對(duì)比度計(jì)算得到的運(yùn)動(dòng)顯著圖。并且由于這兩個(gè)顯著圖對(duì)于表達(dá)整個(gè)視頻幀的顯著運(yùn)動(dòng)都是不足的情況，對(duì)它們進(jìn)行融合互補(bǔ)，并在此基礎(chǔ)上對(duì)底層顯著性結(jié)果進(jìn)行平滑處理，以得到相對(duì)可信的底層顯著性結(jié)果。最后詳細(xì)介紹進(jìn)行顯著圖計(jì)算的方法以及對(duì)兩個(gè)顯著圖進(jìn)行融合，并平滑的過(guò)程。</p><p>　

69、　第四章 具有結(jié)構(gòu)信息的描述子構(gòu)造以及低秩計(jì)算。在本章中首先介紹如何使用運(yùn)動(dòng)顏色梯度圖來(lái)對(duì)前景物體的大小進(jìn)行預(yù)估，而知道了前景物體的大小對(duì)于后續(xù)步驟將會(huì)起到一個(gè)很大的作用。然后在知道前景物體大小的基礎(chǔ)上，采用自適應(yīng)調(diào)整的參數(shù)來(lái)對(duì)之前計(jì)算的初步顯著圖進(jìn)行二值分割，將前景物體與背景分離出，以便后續(xù)對(duì)其進(jìn)行結(jié)構(gòu)敏感的描述子的構(gòu)造。在設(shè)計(jì)描述子的時(shí)候，首先闡述了一個(gè)好的描述子對(duì)于計(jì)算機(jī)視覺(jué)算法的重要性，以及設(shè)計(jì)的這個(gè)描述子能夠帶給我們算法的提升

70、，然后詳細(xì)的介紹了描述子的構(gòu)造。</p><p>　　第五章 基于底層顯著性結(jié)果的自適應(yīng)傳遞。在本章將會(huì)介紹使用對(duì)結(jié)構(gòu)敏感的描述子來(lái)對(duì)每一個(gè)顯著超像素的顯著值進(jìn)行一個(gè)傳遞，分別為基于相鄰幀間的傳遞以及基于顯著超像素學(xué)習(xí)庫(kù)的傳遞。這兩種傳遞有它們各自的優(yōu)勢(shì)，所以接下來(lái)會(huì)介紹其融合方法。最后再通過(guò)使用傳遞的結(jié)果來(lái)對(duì)之前計(jì)算出的原始結(jié)果進(jìn)行一個(gè)融合。</p><p>　　第六章 實(shí)驗(yàn)結(jié)果分析。本

71、章主要介紹了試驗(yàn)中所用的4個(gè)benchmark，并展示一些結(jié)果圖，并與其它目前先進(jìn)方法進(jìn)行對(duì)比，主要從Precision Recall曲線以及F-measure兩方面進(jìn)行對(duì)比，并展示圖表。</p><p>　　最后是總結(jié)與展望，對(duì)本文所做的研究工作和研究成果進(jìn)行總結(jié)，并指出現(xiàn)有圖像解析成果工作存在的不足之處，且對(duì)系統(tǒng)的進(jìn)一步開(kāi)發(fā)工作進(jìn)行展望。</p><p><b>　　關(guān)鍵技術(shù)

72、及研究現(xiàn)狀</b></p><p><b>　　顯著運(yùn)動(dòng)檢測(cè)簡(jiǎn)介</b></p><p>　　顯著運(yùn)動(dòng)檢測(cè)是使用計(jì)算機(jī)對(duì)視頻中的運(yùn)動(dòng)物體進(jìn)行自動(dòng)檢測(cè)，并且以灰度圖的形式呈現(xiàn)出來(lái)的一種計(jì)算機(jī)視覺(jué)技術(shù)。顯著運(yùn)動(dòng)檢測(cè)對(duì)于安全監(jiān)督、交通控制、人機(jī)交互等應(yīng)用有很重要的作用。盡管這個(gè)領(lǐng)域已經(jīng)被研究了很久，但是仍然有很多的技術(shù)難點(diǎn)尚未被人們解決，如非靜態(tài)視頻以及不斷變焦

73、和旋轉(zhuǎn)的相機(jī)引起的誤差等。為了解決上述問(wèn)題，本文引入光流和自適應(yīng)學(xué)習(xí)傳遞來(lái)對(duì)視頻顯著運(yùn)動(dòng)進(jìn)行檢測(cè)。顯著運(yùn)動(dòng)檢測(cè)如圖 3所示。</p><p>　　近些年來(lái)，顯著性檢測(cè)備受人們的關(guān)注，與將整個(gè)場(chǎng)景分割成離散部分的傳統(tǒng)分割問(wèn)題不同的是，顯著性檢測(cè)的目的是發(fā)現(xiàn)顯著區(qū)域，過(guò)濾掉不重要的區(qū)域。它的想法來(lái)自人的視覺(jué)系統(tǒng)，人的視覺(jué)系統(tǒng)第一階段就是一個(gè)快速而簡(jiǎn)單的顯著度處理過(guò)程[1]。顯著性檢測(cè)是計(jì)算機(jī)視覺(jué)的重要課題之一，因?yàn)樗?/p>

74、為許多計(jì)算機(jī)視覺(jué)方面的應(yīng)用提供了一種快速的預(yù)處理。</p><p>　　圖 3 顯著運(yùn)動(dòng)檢測(cè)</p><p>　　給定一個(gè)視頻序列，視頻顯著運(yùn)動(dòng)檢測(cè)的目的是將視頻序列幀中的運(yùn)動(dòng)物體標(biāo)記出來(lái)，這些信息將會(huì)輸入到后續(xù)應(yīng)用（如視頻分割[15]、視頻物體追蹤識(shí)別[16]、視頻理解[17]等）中，以形成一個(gè)完整的視頻應(yīng)用鏈。近些年來(lái)計(jì)算機(jī)視覺(jué)發(fā)展迅速，作為計(jì)算機(jī)視覺(jué)中最活躍的一個(gè)研究方向，視頻顯著

75、運(yùn)動(dòng)檢測(cè)也取得了很大的成果，可以看到現(xiàn)在很多的方法在一些數(shù)據(jù)集中能夠取得一個(gè)不錯(cuò)的效果，對(duì)物體的檢測(cè)也具有相當(dāng)?shù)木?如基于局部建模的方法[18][19]，以及基于低秩分析的方法[3][20]，但這些方法都有其各自的局限性，比如對(duì)動(dòng)態(tài)背景、運(yùn)動(dòng)緩慢以及物體較大等情況的檢測(cè)效果不理想。</p><p>　　從視頻流中對(duì)運(yùn)動(dòng)的物體進(jìn)行檢測(cè)對(duì)很多具體應(yīng)用都有很大的幫助，包括物體追蹤、視頻監(jiān)控、交通控制、安全控制等。盡管

76、對(duì)顯著運(yùn)動(dòng)檢測(cè)的研究在近幾年取得了非常大的成果，但一些傳統(tǒng)的局限性仍然沒(méi)有得到很好的解決，特別是對(duì)于非靜態(tài)視頻，這很大的限制了基于運(yùn)動(dòng)追蹤的智能系統(tǒng)在現(xiàn)實(shí)和復(fù)雜的場(chǎng)景的應(yīng)用范圍。在很多真實(shí)的環(huán)境中，運(yùn)動(dòng)會(huì)由兩部分組成：我們感興趣的顯著運(yùn)動(dòng)，我們不感興趣的噪聲的干擾。根據(jù)以前的文章[2]，顯著運(yùn)動(dòng)在被這定義為一個(gè)處于監(jiān)控下的物體的運(yùn)動(dòng)，如人、汽車(chē)等。而噪聲則是復(fù)雜的環(huán)境的干擾，如隨風(fēng)飄動(dòng)的葉子之類(lèi)，它常常會(huì)使得運(yùn)動(dòng)檢測(cè)更加的困難[3]。因

77、此新的能夠在非靜態(tài)視頻中有效的方法是我們迫切需要的。</p><p>　　總的困難有：對(duì)無(wú)約束的視頻進(jìn)行長(zhǎng)時(shí)間的魯棒運(yùn)動(dòng)追蹤仍然存在很大困難，特別是對(duì)于長(zhǎng)時(shí)間非靜態(tài)向旋轉(zhuǎn)及變焦（PTZ）視頻。由于傳統(tǒng)的低秩運(yùn)動(dòng)檢測(cè)方法主要注重在全局視角對(duì)背景建模，所以在面對(duì)背景會(huì)隨時(shí)間變化的情況時(shí)會(huì)出現(xiàn)很大的錯(cuò)誤[3]。經(jīng)典的基于魯棒主成分分析（RPCA）[21]的低秩分析認(rèn)為顯著運(yùn)動(dòng)相對(duì)于具有低秩的背景而言是稀疏的，然而在某些

78、時(shí)候這樣的假定并不是全部成立的。顯著運(yùn)動(dòng)檢測(cè)需要選擇性的選定顯著的運(yùn)動(dòng)，然后很多低秩追蹤都忽略了上下文迭代來(lái)解決間歇移動(dòng)目標(biāo)。依據(jù)當(dāng)前人們對(duì)視頻顯著性動(dòng)作檢測(cè)手段，其主要可以分為如下三類(lèi)：基于視頻幀間對(duì)比度的視頻顯著運(yùn)動(dòng)檢測(cè)；基于非顯著性背景模型的視頻顯著運(yùn)動(dòng)檢測(cè)；基于運(yùn)動(dòng)模型的視頻顯著運(yùn)動(dòng)檢測(cè)。</p><p>　　基于視頻幀間差異度的視頻顯著運(yùn)動(dòng)檢測(cè)</p><p>　　圖 4 基于

79、視頻幀間對(duì)比度的視頻顯著性動(dòng)作檢測(cè)圖</p><p>　　典型的基于幀間差異度的視頻顯著運(yùn)動(dòng)檢測(cè)如圖 4所示，(a)和(b)為視頻中兩相隔20幀的視頻幀，(c)(d)(e)(f)為文獻(xiàn)[22]中的方法檢測(cè)得到的顯著性動(dòng)作結(jié)果，其中紅色圈標(biāo)識(shí)出了錯(cuò)誤的檢測(cè)。R Jain和HH Nagel[23]提出采用視頻連續(xù)幀間的差異度高低來(lái)判斷哪些發(fā)生幀間變化的視頻元素屬于顯著性動(dòng)作。針對(duì)給定的不同的視頻序列，如果需要使用幀間

80、差異度來(lái)進(jìn)行檢測(cè)，那么通常需要定義不同的差異度閾值以判斷某一運(yùn)動(dòng)是否顯著，如圖 4。所以在給定的顯著性閾值的情況下，J. Konrad [24]會(huì)依據(jù)各像素點(diǎn)的幀間差異度來(lái)對(duì)圖像中的運(yùn)動(dòng)進(jìn)行判斷，以決定哪些是顯著的。當(dāng)然在單純的、獨(dú)立的在像素點(diǎn)層面所進(jìn)行的判斷往往由于現(xiàn)實(shí)中視頻的多樣性以及復(fù)雜性，使得其顯著性運(yùn)動(dòng)檢測(cè)的結(jié)果往往存在許多因?yàn)樵肼曇鸬腻e(cuò)誤判斷（如圖4中（b）（c）（d）所示），并且由于物體具有一定的體積導(dǎo)致其檢測(cè)得到的顯著

81、性運(yùn)動(dòng)往往存在空洞效應(yīng)（如圖4（b）所示）。而在此基礎(chǔ)上，R. Fablet [25]進(jìn)一步的以像素區(qū)域?yàn)閱挝贿M(jìn)行顯著運(yùn)動(dòng)檢測(cè)，它的方法比之J. Konrad的方法有了一定的效果改善。T. Aach [</p><p>　　基于非顯著性背景模型的視頻顯著運(yùn)動(dòng)檢測(cè)</p><p>　　與基于幀間差異度的視頻顯著性動(dòng)作檢測(cè)方法不同，基于背景模型的顯著性動(dòng)作檢測(cè)方法的優(yōu)勢(shì)在于它會(huì)以更小的計(jì)算成本

82、來(lái)進(jìn)行快速的顯著性動(dòng)作檢測(cè)。但是缺點(diǎn)卻是很明顯，那就是它在實(shí)際的應(yīng)用中需要有這樣一個(gè)前提條件，即僅當(dāng)幀間的背景區(qū)域變化幅度不大的情況下，在此時(shí)基于背景模型的顯著性動(dòng)作檢測(cè)才能獲得較為理想的效果。例如對(duì)于固定相機(jī)位置得到的監(jiān)控視頻，由于相機(jī)位置的不變使得背景區(qū)域的像素點(diǎn)的灰度分布通?？梢允褂脝蝹€(gè)高斯函數(shù)進(jìn)行表示，因此T. Kanade[28]和M. Hötter[29]認(rèn)為，前景中顯著性運(yùn)動(dòng)就可以認(rèn)為是那些與高斯均值（背景像素點(diǎn)

83、的灰度分布已經(jīng)被表示為高斯函數(shù)）偏離較遠(yuǎn)的像素點(diǎn)。在此基礎(chǔ)上，C.R. Wren [30]引入多個(gè)高斯函數(shù)模型來(lái)擬合背景灰度分布，并且Elgammal [31]將這一方法成功的應(yīng)用到了行人追蹤。</p><p>　　然而，對(duì)于非固定相機(jī)獲取的視頻（動(dòng)態(tài)視頻），由于背景隨著相機(jī)的運(yùn)動(dòng)時(shí)刻發(fā)生變化，采用高斯函數(shù)來(lái)擬合背景灰度分布已經(jīng)變得不切實(shí)際。Mittal[32]采用前面視頻幀中計(jì)算得到的高斯核函數(shù)來(lái)對(duì)當(dāng)前幀中特定

84、位置的像素點(diǎn)進(jìn)行擬合（非常類(lèi)似于稀疏表示中的重構(gòu)誤差計(jì)算顯著性）。值得一提的是，許多戶外的視頻背景通常在一定幀間隔內(nèi)都展現(xiàn)出持續(xù)的運(yùn)動(dòng)狀態(tài)，因此，Y. Ren[33]在前面的方法上引入光流（optical flow，獲取背景的運(yùn)動(dòng)軌跡）作為檢測(cè)顯著性動(dòng)作的衡量標(biāo)準(zhǔn)。Y. Sheikh [34]利用幀間背景配準(zhǔn)的方式（輔以旋轉(zhuǎn)、仿射以及投影映射），將用于靜態(tài)視頻的顯著性動(dòng)作檢測(cè)方法拓展到動(dòng)態(tài)視頻上面。T. Darrel[22]采用最大似然

85、-馬爾科夫隨機(jī)場(chǎng)來(lái)對(duì)前景和背景同時(shí)建模，從而獲得了較為理想的檢測(cè)結(jié)果?？偟膩?lái)說(shuō)，基于非顯著性背景模型的視頻顯著性動(dòng)作檢測(cè)方法能夠較基于幀間差異度的檢測(cè)方法獲得更為準(zhǔn)確的檢測(cè)結(jié)果，然而，其依舊容易受到噪聲的干擾，并且其通常所需的計(jì)算量、內(nèi)存都遠(yuǎn)高于基于幀間差異度的顯著性動(dòng)作檢測(cè)方法。</p><p>　　基于運(yùn)動(dòng)模型的視頻顯著運(yùn)動(dòng)檢測(cè)</p><p>　　圖 5 基于運(yùn)動(dòng)層聚類(lèi)的視頻顯著性

86、動(dòng)作檢測(cè)</p><p>　　所謂的運(yùn)動(dòng)模型視頻顯著性動(dòng)作檢測(cè)通常事先定義好一系列的運(yùn)動(dòng)模型（事先已經(jīng)定義好了各運(yùn)動(dòng)模型的顯著性高低），然后將視頻幀中的各種不同的運(yùn)動(dòng)劃分到不同的運(yùn)動(dòng)模型之中，從而對(duì)視頻中的各元素進(jìn)行顯著性動(dòng)作捕捉，如圖 5，其中(a)為輸入視頻幀圖像，(b)為運(yùn)動(dòng)層聚類(lèi)結(jié)果，(c)為在(b)的基礎(chǔ)之上進(jìn)行像素級(jí)灰度聚類(lèi)結(jié)果，(d)顯著性動(dòng)作檢測(cè)結(jié)果。J. Xiao[35]提出將視頻中的各元素視為

87、不同運(yùn)動(dòng)層，而顯著性動(dòng)作的檢測(cè)過(guò)程則認(rèn)為是將各幀中的元素超各運(yùn)動(dòng)層進(jìn)行聚類(lèi)（非常類(lèi)似于基于聚類(lèi)的視頻物體追蹤），如圖5（b）所示。 然而這種方法性能的好壞非常依賴于初始幀中運(yùn)動(dòng)層（motion layer of initial frame）的劃分并，且計(jì)算十分復(fù)雜。為了克服這一缺陷，S. Pundlik[36]采用圖割（graph cut）的方法來(lái)決定初始運(yùn)動(dòng)層的劃分，后續(xù)檢測(cè)過(guò)程怎可簡(jiǎn)單的采用運(yùn)動(dòng)聚類(lèi)（motion clusterin

88、g）的過(guò)程，即首先計(jì)算幀間的運(yùn)動(dòng)狀態(tài)，然后依據(jù)運(yùn)動(dòng)狀態(tài)將各像素點(diǎn)劃分到不同的初始運(yùn)動(dòng)層中，其結(jié)果如圖5（c）（d）所示。 Z. Gao[20]將視頻物體追蹤的方法引入到顯著性</p><p>　　圖 6 基于顯著性運(yùn)動(dòng)軌跡的顯著性動(dòng)作檢測(cè)</p><p><b>　　圖像特征表示</b></p><p>　　在計(jì)算機(jī)視覺(jué)和圖像處理中，圖像特征

89、作為解決特定應(yīng)用的計(jì)算任務(wù)時(shí)所用的揭示圖像信息，就和在機(jī)器學(xué)習(xí)以及模式識(shí)別中的信息一樣。圖像特征會(huì)具備特定的結(jié)構(gòu)信息，如點(diǎn)、角、邊界、或者物體等，當(dāng)然它也可以是一些鄰居操作或者特征提取所產(chǎn)生的結(jié)果。作為圖像信息的基礎(chǔ)，圖像的特征表示在近些年一直被人們所研究，并且也有了很大的進(jìn)展。而且由于圖像特征表示描述的種類(lèi)眾多，所針對(duì)的描述類(lèi)型也不一樣，因此很難有一個(gè)概括的分類(lèi)。</p><p>　　對(duì)于圖像的特征表示現(xiàn)在在國(guó)

90、際上并沒(méi)有通用或精確的定義，確切的定義通常取決于實(shí)際中的問(wèn)題或應(yīng)用。在計(jì)算機(jī)視覺(jué)中，圖像中被人們所關(guān)注的部分被定義為特征，并且圖像的特征一般是作為大部分計(jì)算機(jī)視覺(jué)算法應(yīng)用的第一步。由于特征被用作后續(xù)算法的起始點(diǎn)和主基元，所以整個(gè)算法將通常與其特征檢測(cè)器一樣好。因此，特征檢測(cè)器的期望特性是重復(fù)性：是否將在相同場(chǎng)景的兩個(gè)或更多個(gè)不同圖像中檢測(cè)到相同特征。</p><p>　　圖像特征提取是低級(jí)圖像處理操作，也就是說(shuō)，

91、它通常是作為對(duì)圖像應(yīng)用的第一步操作來(lái)執(zhí)行，并且檢查每個(gè)像素以查看在該像素處是否存在特征。如果這是較大算法的一部分，則算法通常將僅檢查特征的區(qū)域中的圖像。作為特征檢測(cè)的內(nèi)置先決條件，輸入圖像通常由尺度空間表示中的高斯核進(jìn)行平滑，并且對(duì)于計(jì)算一個(gè)或多個(gè)特征圖像，通常以局部圖像導(dǎo)數(shù)操作來(lái)表示。有時(shí)當(dāng)特征檢測(cè)在計(jì)算上昂貴并且存在時(shí)間約束時(shí)，可以使用更高級(jí)別的算法來(lái)指導(dǎo)特征檢測(cè)階段，使得僅搜索圖像的某些部分以用于特征。許多計(jì)算機(jī)視覺(jué)算法使用特征檢

92、測(cè)作為初始步驟，因此在現(xiàn)在人們已經(jīng)開(kāi)發(fā)了大量的特征檢測(cè)器。這些檢測(cè)器在所檢測(cè)的特征的種類(lèi)，計(jì)算復(fù)雜性和重復(fù)性方面廣泛變化。</p><p>　　現(xiàn)在在下面介紹3種在計(jì)算機(jī)視覺(jué)中常用的圖像特征。</p><p><b>　　基于顏色的圖像特征</b></p><p>　　顏色是圖像信息表示的最基本元素之一。在顏色空間中，人們通常使用數(shù)值抽象地表示

93、亮度、灰度、色調(diào)、飽和度等顏色特征。</p><p>　　最常用的RGB色彩空間使用的是加法混色法（如圖 9所示），它的原理是基于物體的發(fā)光定義，在自然界中描述各種“光”通過(guò)何種比例來(lái)產(chǎn)生顏色描述紅綠藍(lán)三色光的數(shù)值，并且顏色從黑色不斷疊加紅綠藍(lán)這三種顏色產(chǎn)生顏色，通常將RGB顏色空間視為可以由用于紅色，綠色和藍(lán)色的三種顏色的燈制成的所有可能的顏色的顏色空間，如圖 7所示。</p><p>

94、　　圖 7 RGB顏色空間示意圖</p><p>　　HSV色彩空間使用色相、飽和度以及明度對(duì)顏色進(jìn)行描述，使得對(duì)色彩的描述更加直觀。它通過(guò)圓柱體內(nèi)的點(diǎn)對(duì)顏色進(jìn)行描述，圓柱中心軸在底部是黑色的，不斷變化亮度直到頂部的白色，而在中心軸的中間是的灰色，繞軸的角度對(duì)應(yīng)于“色相”，到軸的距離對(duì)應(yīng)于“飽和度”，而沿軸的距離對(duì)應(yīng)于“明度”，如圖 8所示。</p><p>　　圖 8 HSV色彩空間

95、示意圖</p><p>　　圖 9 加法混色法與減法混色法</p><p>　　Lab顏色空間是根據(jù)非線性壓縮（例如CIE XYZ）坐標(biāo)的具有針對(duì)亮度的L和針對(duì)顏色對(duì)立維度的a和b的顏色對(duì)立空間。Lab 顏色空間包括所有可感知的顏色，用來(lái)描述人眼可見(jiàn)的所有顏色最完備的色彩模型，其中L表示黑色和白色之間的亮度，a表示紅色和綠色之間的亮度，b表示黃色和藍(lán)色之間的亮度，如圖 10所示。<

96、/p><p>　　圖 10 Lab模型</p><p>　　在實(shí)際的計(jì)算機(jī)視覺(jué)應(yīng)用中，顏色直方圖[37]是最常用的表達(dá)顏色特征的方法，它能夠不受圖像旋轉(zhuǎn)以及平移的影響，如果進(jìn)一步的歸一化之后它還可以不受圖像尺度變化的影響，但這樣操作的同時(shí)還會(huì)帶來(lái)一些缺點(diǎn)，如不能表達(dá)出顏色空間中顏色分布的信息。雖然顏色特征是圖像特征表示中重要的一部分，但由于受運(yùn)動(dòng)、分辨率、噪聲等的影響，僅考慮顏色特征的計(jì)算機(jī)

97、視覺(jué)應(yīng)用并不廣泛，所以還需要結(jié)合其他一些圖像特征。 </p><p><b>　　基于紋理的圖像特征</b></p><p>　　紋理是物體表面的一個(gè)非常重要特征，所以在圖像表示中，紋理同樣可以作為圖像特征的重要一部分。例如在顏色比較相似的情況下，區(qū)分木紋和毛皮的重要因素就是紋理，如圖 11所示，因此在紋理的描述和分類(lèi)上的研究也一直是人們關(guān)注的重點(diǎn)。圖像紋理

98、是在為量化圖像設(shè)計(jì)的感知紋理的圖像處理中計(jì)算的一組度量。圖像紋理給我們關(guān)于圖像中的顏色分布和光強(qiáng)分布的空間排列或圖像的選定區(qū)域的信息。與基于像素點(diǎn)特征的顏色特征不同，紋理特征需要在包含多個(gè)像素點(diǎn)的區(qū)域中進(jìn)行統(tǒng)計(jì)計(jì)算。作為一種統(tǒng)計(jì)特征，紋理特征常具有旋轉(zhuǎn)不變性，面對(duì)噪聲時(shí)具有一定的魯棒性。但是與此同時(shí)它也有其缺點(diǎn)，當(dāng)圖像分辨率發(fā)生變化時(shí)，傳統(tǒng)方法計(jì)算出來(lái)的紋理在分辨率變化前后可能會(huì)有較大偏差。并且由于受到光照、鏡面反射等情況影響，從2-D

99、圖像中計(jì)算出來(lái)的紋理會(huì)與現(xiàn)實(shí)中3-D物體表面真實(shí)的紋理具有大的偏差。 </p><p>　　圖 11 樹(shù)木紋理與動(dòng)物皮毛紋理對(duì)比</p><p>　　圖像紋理可以人工創(chuàng)建或在圖像中捕獲的自然場(chǎng)景中找到，圖像紋理是一種可用于幫助圖像分割或分類(lèi)的方法。對(duì)于更精確的分割，最有用的特征是空間頻率和平均灰度級(jí)。為了分析計(jì)算機(jī)中的圖像紋理，通常來(lái)說(shuō)人們一般有兩種方法來(lái)處理這個(gè)問(wèn)題：基于結(jié)構(gòu)

100、化方法和基于統(tǒng)計(jì)方法。基于結(jié)構(gòu)化的紋理特征提取方法是對(duì)所檢測(cè)的紋理進(jìn)行建模，并以此模型在圖像中搜索相同的模式。</p><p>　　在計(jì)算機(jī)視覺(jué)的應(yīng)用中，一般基于紋理的圖像特征會(huì)采用最簡(jiǎn)單和有效的LBP紋理描述方法，并且在近些年大量研究表明了LBP紋理特征在識(shí)別面部方面取得了先進(jìn)的效果。LBP方法在1994年首先由T. Ojala, M.Pietikäinen和D. Harwood 提出[38][39]

101、，用于紋理特征提取。后來(lái)LBP方法與HOG特征分類(lèi)器組合使用，改善某些數(shù)據(jù)集[40]上的檢測(cè)效果。最基本的LBP方法以一個(gè)像素點(diǎn)為中心，用其環(huán)形領(lǐng)域的8個(gè)像素點(diǎn)與中心像素進(jìn)行順時(shí)針或者逆時(shí)針比較，遍歷像素點(diǎn)是否比中心像素的亮度大，（若大則為0，否則為1）得到二進(jìn)制編碼，該二進(jìn)制編碼為該像素點(diǎn)的LBP值，如圖 12所示，二進(jìn)制編碼為00111101。</p><p>　　圖 12 LBP編碼示意圖</p&g

102、t;<p><b>　　基于梯度的圖像特征</b></p><p>　　圖像梯度是描述圖像信息重要的方式，它將圖像看成是二維的離散函數(shù)，這時(shí)候求解圖像梯度就是對(duì)這個(gè)二維離散函數(shù)的求導(dǎo)過(guò)程。圖像中的相鄰像素間就如同坡度一樣有差異，采用圖像梯度對(duì)圖像信息進(jìn)行表示，就能夠準(zhǔn)確的反映圖像中像素的變化情況。下面介紹幾種常用的基于梯度的描述子。</p><p>　　

103、1999年，哥倫比亞大學(xué)的David Lowe在ICCV上首次提出了著名的SIFT(Scale Invariant Feature Transform)算法[41]，也就是尺度不變特征轉(zhuǎn)換算法。2004年，Lowe又在IJCV上提升了SIFT算法的計(jì)算效率[42]。SIFT特征關(guān)鍵點(diǎn)提取主要包含以下流程：(1)首先對(duì)輸入圖像進(jìn)行不同尺度的縮放；(2)利用不同程度的高斯濾波模板對(duì)每個(gè)尺度的圖像進(jìn)行濾波生成高斯差分(Difference o

104、f Gaussian)空間圖像；(3)相鄰層圖像之間計(jì)算差分圖像并檢測(cè)多尺度空間下的圖像極值點(diǎn)；(4)對(duì)每個(gè)高斯差分空間極值點(diǎn)統(tǒng)計(jì)方向直方圖并計(jì)算主要方向；(5)生成關(guān)鍵點(diǎn)描述子，即最終的特征向量。SIFT特征描述子對(duì)旋轉(zhuǎn)縮放、亮度變化等均能保持良好的不變性。同時(shí)，SIFT算法也是許多之后的對(duì)象檢測(cè)算法的基礎(chǔ)?？捎糜趫D像局部特征關(guān)鍵點(diǎn)提取。高斯濾波差分圖計(jì)算示意圖如圖13所示。</p><p>　　圖 13 多

105、尺度高斯濾波差分圖計(jì)算示意圖</p><p>　　SIFT（Scale-invariant Feature Transform）描述子[42]是檢測(cè)局部特征的描述子，SIFT特征不只具有尺度不變性，在角度、亮度或攝像機(jī)視角等因素發(fā)生改變的時(shí)候，它仍然能夠得到好的檢測(cè)效果。SIFT描述子首先要構(gòu)造尺度空間，而構(gòu)造尺度空間目的是模擬圖像數(shù)據(jù)的多尺度特征。然后SIFT描述子在空間尺度中通過(guò)高斯微分函數(shù)尋找極值點(diǎn)，然后根

106、據(jù)極值點(diǎn)提取出其尺度、位置及旋轉(zhuǎn)不變量。如圖 14所示，SIFT描述子在多尺度的空間上檢測(cè)，找到圖像的關(guān)鍵極值點(diǎn)。</p><p>　　圖 14 SIFT尺度空間示意圖</p><p>　　在這里關(guān)鍵點(diǎn)主要包括DOG空間中的局部極值點(diǎn)，并且SIFT關(guān)鍵點(diǎn)的初步探查是通過(guò)比較同組內(nèi)DoG相鄰兩層圖像完成的。為了尋找DoG函數(shù)的極值點(diǎn)，每一個(gè)像素點(diǎn)要和它所有的相鄰點(diǎn)在圖像域和尺度域上比較大小

107、。如圖 15所示，中間檢測(cè)點(diǎn)需要與它在同一尺度智商的八個(gè)相鄰點(diǎn)以及上下相鄰尺度對(duì)應(yīng)的十八個(gè)點(diǎn)共二十六個(gè)點(diǎn)進(jìn)行大小比較，以保證能在尺度空間以及二維圖像空間上都可以檢測(cè)到極值點(diǎn)。并且在得到這些極值點(diǎn)之后還需要進(jìn)行關(guān)鍵點(diǎn)定位、消除邊緣效應(yīng)、關(guān)鍵點(diǎn)方向匹配、特征描述等一系列的處理最終得到特征點(diǎn)。</p><p>　　圖 15 關(guān)鍵點(diǎn)鄰域梯度信息的統(tǒng)計(jì)分布示意圖</p><p>　　SURF（Sp

108、eeded Up Robust Features）描述子[43]是在SIFT描述子基礎(chǔ)上進(jìn)行的改進(jìn)后的一種描述子，它基于Hessian矩陣的尺度不變，并利用積分圖像進(jìn)行計(jì)算從而加快運(yùn)算速度，積分圖像上的任意一坐標(biāo)上（i，j）的值為原圖像左上角到此點(diǎn)的對(duì)焦區(qū)域的灰度值總和，計(jì)算由公式（2.1）所得，示意圖如圖 16所示。并且由于SURF描述子是由SIFT描述子中經(jīng)過(guò)改進(jìn)得到，所以在一般情況下可以看到標(biāo)準(zhǔn)SURF描述子會(huì)比SIFT描述子在計(jì)