提高唇讀理解的關(guān)鍵技術(shù)研究.pdf

1、唇讀為人機(jī)自然交互和生物特征識(shí)別提供了一種新的途徑，本文主要針對(duì)單獨(dú)視覺(jué)通道唇讀，重點(diǎn)研究為提高唇讀理解的關(guān)鍵技術(shù)中的特征提取和語(yǔ)言模型問(wèn)題。
　　在唇區(qū)檢測(cè)與定位方面簡(jiǎn)要介紹了自適應(yīng)色度濾波模型，該模型通過(guò)對(duì)人臉區(qū)域的實(shí)時(shí)分析，自適應(yīng)的找到唇色與膚色的聚類范圍，從而修正唇色模型，提高了系統(tǒng)的魯棒性和實(shí)用性。同時(shí)介紹了基于色度空間的Mean-Shift聚類算法，取得了滿意的結(jié)果。
　　特征提取在唇讀中具有核心地位，目標(biāo)就是得

2、到低維、低冗余度且具代表意義的特征向量。本文主要研究基于像素的特征提取方法，提出一個(gè)級(jí)聯(lián)的特征提取流程，首先對(duì)圖像采用相應(yīng)的變換，然后對(duì)變換結(jié)果降維，最后進(jìn)行特征歸一化?；趯?duì)幾種變換方法的比較與分析，提出利用KL對(duì)DCT和Gabor小波變換結(jié)果降維的DCT-KL和Gabor-KL方法，最優(yōu)識(shí)別率分別能達(dá)到77.4％和77.9%，與直接選擇變換系數(shù)的方法相比識(shí)別率提高了約10%。
　　在唇讀訓(xùn)練和識(shí)別方面，利用半連續(xù)HMM模型對(duì)數(shù)

3、據(jù)庫(kù)中200個(gè)句子包括96個(gè)音進(jìn)行訓(xùn)練和識(shí)別。對(duì)模型在唇讀識(shí)別應(yīng)用中的一些具體問(wèn)題進(jìn)行了探討，建立了適合唇讀的HMM模型。
　　語(yǔ)言模型作為唇讀的后處理模塊，將直接影響唇讀的識(shí)別率，本文提出統(tǒng)計(jì)語(yǔ)言模型在唇讀中的兩個(gè)應(yīng)用，并給出相應(yīng)的數(shù)學(xué)模型和算法。一是輔助唇讀識(shí)別，利用HMM識(shí)別概率結(jié)合語(yǔ)言模型的統(tǒng)計(jì)概率進(jìn)行識(shí)別，拼音識(shí)別率提高5%達(dá)到82.4%，句子識(shí)別率提高約20%達(dá)到51%；二是進(jìn)行音字轉(zhuǎn)換，解決同音字的問(wèn)題，在拼音識(shí)別率