基于編碼特征軌跡簇的視頻檢索.pdf

1、近年來,全球信息化和經(jīng)濟全球化已經(jīng)成為時代的發(fā)展潮流,研究新的寬帶業(yè)務,開發(fā)網(wǎng)絡多媒體應用,提高人們的生活質(zhì)量,已經(jīng)為全世界共同關注的問題。寬帶業(yè)務與多媒體信息的主體是圖像和視頻,但視頻融合了圖像、文字、聲音等多種媒體,具有最強的表現(xiàn)力。因此,研究開發(fā)以視頻為主體的多媒體業(yè)務已經(jīng)成為當今信息科學與技術的重要研究領域。如何對急速膨脹的海量視頻數(shù)據(jù)進行有效的檢索處理,是人們研究開發(fā)以視頻為主體的多媒體業(yè)務首先要面對的一個問題。針對基于關鍵字

2、檢索(Keywords-Based Retrieval)方法的不足,人們提出了基于內(nèi)容的視頻檢索(CBVR,Content-Based Video Retrieval)方法。
　　 本文主要研究的目標是在視頻內(nèi)檢索包含查詢目標的視頻鏡頭,即用戶給定一幅標識查詢目標的圖像,提取查詢目標的特征,與視頻數(shù)據(jù)庫中候選目標的特征進行匹配,獲得檢索結果。
　　 視頻雖然比文本、圖像包含更豐富的信息,但是卻無法像文本那樣直接地給出它的

3、內(nèi)容并且進行基于內(nèi)容的檢索。要實現(xiàn)基于內(nèi)容的視頻檢索,首先必須對視頻進行預處理,包括視頻結構化分析和視頻特征提取。視頻結構化分析是指通過鏡頭邊界的檢測,把視頻分割成鏡頭；視頻特征提取是指提取顏色、紋理、形狀、運動和語義等各種特征,形成描述鏡頭的視頻特征。然后依靠這些視頻特征來進行視頻檢索。所以,本文首先在視頻幀提取SIFT(Scale InvariantFeature Transform)特征,SIFT特征是圖像的局部特征,該特征對旋轉

4、、尺度縮放、亮度變化保持不變性,對視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性,具有很強的魯棒性；其次,根據(jù)視頻幀之間局部不變特征向量的匹配度檢測鏡頭的邊界,從而進行鏡頭分割；再次,跟蹤穩(wěn)定的視頻特征生成視頻特征軌跡(tracks)；再次,在RGB空間對圖像像素進行顏色量化和編碼。用MSER(maximally stable extremal regions)算法在每個鏡頭的第一幀提取特征,統(tǒng)計MSER特征的主顏色,利用特征的顏色信息