基于多模態(tài)特性的運(yùn)動(dòng)視頻語(yǔ)義分析技術(shù)研究.pdf

1、隨著計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，互聯(lián)網(wǎng)數(shù)據(jù)已呈現(xiàn)出規(guī)模海量化、表現(xiàn)形式多樣化的趨勢(shì)。運(yùn)動(dòng)視頻作為一種重要的互聯(lián)網(wǎng)數(shù)據(jù)類型，因其龐大的數(shù)據(jù)量，給信息的傳輸、存儲(chǔ)以及管理造成了很大的困難。傳統(tǒng)的文本數(shù)據(jù)處理方法既需要消耗大量的人力，也無(wú)法充分利用視頻中包含的豐富信息。為此，人們提出了多種基于內(nèi)容的視頻語(yǔ)義分析技術(shù)，這些技術(shù)已在視頻檢索、索引、查詢中發(fā)揮關(guān)鍵作用。
　　近年來(lái)，國(guó)內(nèi)外學(xué)者在提取視頻語(yǔ)義方面提出了許多較為實(shí)用和有效的算

2、法。但是這些算法依然普遍存在較多問(wèn)題，例如，算法設(shè)計(jì)過(guò)于復(fù)雜、計(jì)算量大；對(duì)特殊領(lǐng)域的特點(diǎn)和規(guī)則的依賴導(dǎo)致其應(yīng)用受到局限；以及視頻數(shù)據(jù)的多模態(tài)特性利用不充分等。因此，本文圍繞上述問(wèn)題開展了以有效提取視頻語(yǔ)義為目的的研究，主要工作包括：
　　1)提出了一種通用的、基于局部特征融合的視頻語(yǔ)義分析方案。首先利用對(duì)噪聲比較敏感的峰值運(yùn)算來(lái)抑制噪聲干擾，并輔助以形態(tài)學(xué)處理，提取包含所有運(yùn)動(dòng)像素的局部區(qū)域以及運(yùn)動(dòng)特征。然后，分別利用顏色直方圖和

3、灰度共生矩陣提取該局部區(qū)域內(nèi)的顏色和紋理特征，并在實(shí)現(xiàn)這些局部特征的加權(quán)串聯(lián)融合后，利用隱馬爾科夫模型(Hidden Markov Models，HMM)完成視頻內(nèi)容的語(yǔ)義識(shí)別。仿真實(shí)驗(yàn)結(jié)果表明，該方案能夠有效降低噪聲干擾，充分利用視頻數(shù)據(jù)的多模態(tài)特性，具有較好的分析準(zhǔn)確性。
　　2)提出了一種基于多特征和多模型的體育視頻語(yǔ)義分析方案。首先，依據(jù)體育競(jìng)技場(chǎng)地相對(duì)固定、有規(guī)律的特點(diǎn)，提取視頻鏡頭首幀圖像的語(yǔ)義顏色特征，并結(jié)合支持向量