唇讀系統(tǒng)的實(shí)驗(yàn)與研究.pdf

1、對(duì)計(jì)算機(jī)唇讀的研究在語(yǔ)音識(shí)別、人機(jī)智能接口、多媒體系統(tǒng)以及人臉數(shù)據(jù)壓縮等領(lǐng)域具有重要的理論意義和實(shí)用價(jià)值。本文搭建了一個(gè)基本的唇讀識(shí)別系統(tǒng)，對(duì)唇讀的基本技術(shù)問(wèn)題包括實(shí)時(shí)唇動(dòng)檢測(cè)、唇動(dòng)定位與特征提取、唇讀識(shí)別和唇讀融合進(jìn)行了研究和實(shí)踐，并建立了適合進(jìn)行中國(guó)唇讀研究的雙模態(tài)語(yǔ)料庫(kù)CAVDatabase。具體包括以下研究?jī)?nèi)容：在唇的檢測(cè)方面，對(duì)傳統(tǒng)唇色模型進(jìn)行了改進(jìn)，提出了自適應(yīng)色度濾波模型。通過(guò)對(duì)人臉區(qū)域的實(shí)時(shí)分析，自適應(yīng)的找到唇色與膚色的

2、聚類(lèi)范圍，從而修正唇色模型，利用該模型實(shí)現(xiàn)了實(shí)時(shí)唇動(dòng)檢測(cè)與跟蹤。唇色自適應(yīng)模型使得系統(tǒng)可以對(duì)不同的唇色、光照和攝像機(jī)色調(diào)等客觀條件進(jìn)行自適應(yīng)調(diào)整，提高了系統(tǒng)在自然條件下的魯棒性和實(shí)用性。 在唇動(dòng)定位與特征提取方面，通過(guò)自適應(yīng)色度濾波技術(shù)對(duì)唇色進(jìn)行增強(qiáng)處理，解決了可變模板方法的難點(diǎn)問(wèn)題，即對(duì)圖像質(zhì)量的高度依賴，使得唇的定位與特征提取更加準(zhǔn)確。在特征提取方面，將基于模板(model-based)和基于圖像的(image-based)

3、方法相結(jié)合，取長(zhǎng)補(bǔ)短，有效地得到了唇部的運(yùn)動(dòng)信息。 在唇讀識(shí)別方面，利用半連續(xù)HMM模型實(shí)現(xiàn)了對(duì)82個(gè)口型序列圖像的訓(xùn)練和識(shí)別。對(duì)模型在唇讀識(shí)別應(yīng)用中的一些具體問(wèn)題進(jìn)行了探討，建立了適合唇讀的HMM模型。最終取得了特定人40.2％，非特定人30.9％的識(shí)別率。 在唇讀融合方面，提出了帶先驗(yàn)知識(shí)的DS理論，對(duì)不同程度的噪聲語(yǔ)音可提高識(shí)別率10％-30％。 為了進(jìn)行唇讀系統(tǒng)的研究和實(shí)驗(yàn)，本文建立了涵蓋82個(gè)漢語(yǔ)發(fā)音適