細(xì)胞神經(jīng)網(wǎng)絡(luò)在手語視頻分割中的應(yīng)用研究.pdf

1、手語是由手形、手臂運(yùn)動(dòng)并輔之以表情、唇動(dòng)以及其他體勢(shì)表達(dá)思想的視覺語言，是聾啞人進(jìn)行信息交流的最自然方式。在移動(dòng)網(wǎng)絡(luò)帶寬有限且手語視頻數(shù)據(jù)量大的情況下，要使聾啞人和正常人一樣利用手機(jī)進(jìn)行實(shí)時(shí)雙向視頻通話，就必須保證在手語視頻可理解性的同時(shí)最大化壓縮手語視頻，為此，研究人員提出了感興趣區(qū)手語視頻編碼方法。感興趣區(qū)手語視頻編碼方法的前提條件是快速分割出手語視頻中的面部、雙手和背景區(qū)域。在進(jìn)行手語視頻分割時(shí)，面臨的主要問題是如何解決因處理大數(shù)

2、據(jù)量運(yùn)算所造成的實(shí)時(shí)性問題。細(xì)胞神經(jīng)網(wǎng)絡(luò)(CellularNeuralNetwork，CNN)由于具有高速計(jì)算能力，以及與人類視覺系統(tǒng)(HumanVisualSystme，HVS)很多的相似性，使得它特別適合圖像/視頻處理。因此，有必要研究CNN在手語視頻分割中的應(yīng)用及其相關(guān)算法。
　　 本論文研究了細(xì)胞神經(jīng)網(wǎng)絡(luò)(CellularNeuralNetwork，CNN)在快速手語視頻分割中的應(yīng)用，本論文具體工作如下:
　　

3、(1)研究了基于CNN的膚色檢測(cè)在手語視頻分割中的應(yīng)用。為了減少不同照明條件對(duì)膚色檢測(cè)的影響，在膚色檢測(cè)之前，采用grayworld方法對(duì)RGB顏色空間進(jìn)行了顏色均衡。接著，對(duì)YCbCr顏色空間數(shù)據(jù)處理方法進(jìn)行了優(yōu)化。再利用膚色信息在YCbCr顏色空間采用閾值法，進(jìn)行基于CNN的手語視頻分割。相比于同類算法，該方法簡(jiǎn)單快速，能夠適應(yīng)實(shí)時(shí)的手語視頻分割。
　　 (2)研究了基于CNN的運(yùn)動(dòng)檢測(cè)在手語視頻分割中的應(yīng)用。該方法采用差分

4、法對(duì)手語視頻進(jìn)行分割，該算法復(fù)雜度低，且直接面向灰度圖象，能夠獲得較多的運(yùn)動(dòng)信息，從而使運(yùn)動(dòng)對(duì)象分割具有更好的精確性和語義性。
　　 (3)研究了一種基于CNN的將膚色和運(yùn)動(dòng)信息結(jié)合起來的手語視頻分割算法。該方法首先利用膚色信息特征進(jìn)行基于CNN的膚色檢測(cè)，檢測(cè)出手語視頻中的膚色區(qū)域;然后對(duì)膚色檢測(cè)結(jié)果，利用幀差法進(jìn)行基于CNN的運(yùn)動(dòng)檢測(cè)，獲得初始的手勢(shì)區(qū)域。由于提取出的視頻對(duì)象輪廓容易出現(xiàn)“空洞”和“重影”現(xiàn)象，很難保證其完整