大規(guī)模視頻庫(kù)的組織與檢索.pdf

1、Internet的普及和多媒體技術(shù)的發(fā)展使人們面臨呈爆炸性增長(zhǎng)的視覺信息，基于內(nèi)容的視頻檢索有著廣闊的應(yīng)用前景，成為非?；钴S的研究領(lǐng)域。本文主要針對(duì)大規(guī)模視頻庫(kù)的組織與檢索技術(shù)進(jìn)行研究，目的是實(shí)現(xiàn)對(duì)海量視頻數(shù)據(jù)的存儲(chǔ)、有效組織、快速精確的檢索。本文研究?jī)?nèi)容涉及特征索引方法、視頻語(yǔ)義分類方法、相關(guān)反饋方法、視頻片段的相似度量以及視覺內(nèi)容特征的表示等問(wèn)題。取得的主要成果包括： 1．基于關(guān)鍵幀序列融合的視頻片段檢索方法：相似視頻片段之

2、間至少有一對(duì)關(guān)鍵幀相似，所以首先查找至少有一個(gè)相似關(guān)鍵幀的片段作為候選視頻片段，然后再計(jì)算候選視頻片段與范例視頻片段的相似度，可以避免無(wú)關(guān)的視頻片段相似度的計(jì)算。本文提出用融合多種特征的聯(lián)合分布直方圖來(lái)表示視頻內(nèi)容的方法，并使用顏色、紋理聯(lián)合分布直方圖進(jìn)行視頻子鏡頭分割，子鏡頭用關(guān)鍵幀表示。檢索時(shí)，對(duì)范例視頻片段的每個(gè)關(guān)鍵幀檢索到相似的關(guān)鍵幀，所有的相似關(guān)鍵幀按照時(shí)間連續(xù)性融合為視頻片段，它們與范例視頻片段的關(guān)鍵幀之間形成多對(duì)多的匹配關(guān)

3、系。刪除冗余的關(guān)鍵幀匹配對(duì)，形成優(yōu)化的關(guān)鍵幀匹配序列，然后綜合考慮視覺相似性和時(shí)間順序相似性計(jì)算整個(gè)視頻片段的相似性。實(shí)驗(yàn)表明本文的方法符合人的視覺特性并有較低的時(shí)間復(fù)雜度。 2．基于語(yǔ)義監(jiān)督的特征聚類索引方法和基于Bayes的視頻語(yǔ)義分類方法：理想的視頻庫(kù)組織方法應(yīng)該把語(yǔ)義相關(guān)并且特征相似的視頻的特征向量相鄰存儲(chǔ)。針對(duì)大規(guī)模視頻庫(kù)的特點(diǎn)，在語(yǔ)義監(jiān)督下作視頻庫(kù)低層特征的層次聚類劃分，當(dāng)一個(gè)聚類中只包含一個(gè)語(yǔ)義類別的視頻時(shí)，為這個(gè)

4、聚類建立索引項(xiàng)，這個(gè)聚類稱為索引聚類。統(tǒng)計(jì)低層特征和高層特征的概率聯(lián)系，構(gòu)造Bayes分類器。用分類器可以對(duì)其它視頻數(shù)據(jù)作語(yǔ)義分類。查詢時(shí)對(duì)用戶的查詢范例，用Bayes分類器對(duì)查詢范例作語(yǔ)義分類，在該語(yǔ)義范圍內(nèi)查詢相似視頻片段。本文的方法不僅提高了檢索速度而且提高了檢索的語(yǔ)義敏感度。 3．集成低層特征和語(yǔ)義信息的相關(guān)反饋方法：提出了一種基于Bayes理論的低層特征和語(yǔ)義信息相結(jié)合的相關(guān)反饋方法，只用很少的反饋次數(shù)就可達(dá)到很好的效

5、果。本文認(rèn)為正反饋和負(fù)反饋的低層特征空問(wèn)都是多個(gè)分量的混合高斯分布，以便更準(zhǔn)確的估計(jì)查詢空間的復(fù)雜分布，并且把正負(fù)反饋樣本擴(kuò)展到樣本所在的索引聚類，以這些聚類形成的分類器修正相似距離。同時(shí)根據(jù)正負(fù)反饋樣本的語(yǔ)義信息用Bayes方法推測(cè)正反饋語(yǔ)義空間和負(fù)反饋語(yǔ)義空間，計(jì)算數(shù)據(jù)庫(kù)樣本屬于正反饋語(yǔ)義空間和負(fù)反饋語(yǔ)義空間的概率，修正視覺相似性，得到語(yǔ)義相近的查詢結(jié)果。 4．一種快速高效的紋理譜描述子：依據(jù)紋理視覺特性提出了紋理模式等價(jià)類

6、 的概念，從而得到更合理的紋理譜描述子。該紋理譜描述子在圖象旋轉(zhuǎn)0<'。>、90<'。>、180<'。>、270<'。>以及水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、正對(duì)角線翻轉(zhuǎn)、反對(duì)角線翻轉(zhuǎn)的情況下是不變的，具有很好的旋轉(zhuǎn)魯棒性?？梢栽诓煌叨认潞芎玫拿枋鲱I(lǐng)域內(nèi)圖象象素的灰度變化情況，具有良好的視覺一致性。 基于本文的研究?jī)?nèi)容，實(shí)現(xiàn)了一個(gè)基于內(nèi)容檢索的視頻圖象庫(kù)原型系統(tǒng)MIRES。該系統(tǒng)基于C++和Windows平臺(tái)開發(fā)，能夠自動(dòng)提取視覺特征建