基于唇動特征的唇語識別技術(shù).pdf

1、人類的語言認(rèn)知過程是一個多通道的感知過程。除聲音信息通道外，唇動視覺信息可以作為一種語音理解源。視覺語言具有許多潛在的應(yīng)用，因此通過機(jī)器的自動唇語識別即唇語技術(shù)近年來成為一個備受關(guān)注的研究領(lǐng)域。作為人機(jī)交互的一部分，對唇讀規(guī)律及其識別的研究具有重要的理論意義和實(shí)用價值，它能夠有效地改善語音、手語等其它信道的識別率。 本人對國內(nèi)外現(xiàn)有的有關(guān)唇讀識別技術(shù)和方法進(jìn)行了研究，在比較現(xiàn)有唇讀系統(tǒng)所采用的方法基礎(chǔ)之上，針對計(jì)算機(jī)唇讀系統(tǒng)中唇

2、部檢測、唇讀特征提取和唇語識別等關(guān)鍵技術(shù)，提出了改進(jìn)的算法。 首先利用膚色模型和人臉的幾何特征檢測出人臉，進(jìn)一步提出一個多級結(jié)構(gòu)的嘴唇區(qū)域檢測算法檢測嘴唇，也就是實(shí)現(xiàn)對嘴唇的粗定位到精定位。該方法是在檢測出人臉后，通過Fisher變換增強(qiáng)嘴唇區(qū)域，然后利用Otsu(最大類間方差法)二值化圖像完成粗定位，再結(jié)合YIQ唇色模型進(jìn)一步驗(yàn)證后實(shí)現(xiàn)唇部精定位。利用該方法得到的分割結(jié)果初始化輪廓的參數(shù)，有效提高了輪廓定位的速度和準(zhǔn)確度。

3、 在嘴唇的跟蹤和特征提取方面，提出基于改進(jìn)的snake模型的嘴唇輪廓提取的方法。此方法首先自動生成snake的初始模型，然后在GVF-snake的基礎(chǔ)上重新設(shè)計(jì)了snake的外部能量函數(shù)，利用色彩差分運(yùn)算提取有意義區(qū)域的邊緣梯度，對GVF向量場進(jìn)行了歸一化處理并改進(jìn)了平滑因子。該改進(jìn)的算法大大提高了嘴唇輪廓提取的準(zhǔn)確度。然后采用了光流法和snake模型結(jié)合的方法對序列圖像進(jìn)行跟蹤，能較好地解決因動態(tài)圖像幀間誤差積累而帶來的跟蹤錯誤的

4、問題。為提取嘴唇的運(yùn)動特征，本文提出基于幀間特征點(diǎn)運(yùn)動矢量的唇動特征提取方法，提取了有效的嘴唇特征點(diǎn)并研究了圖像序列相鄰幀之間的嘴唇運(yùn)動的規(guī)律，獲得包含大量口型動態(tài)信息的有效特征。 在唇讀識別方面，運(yùn)用了BP神經(jīng)網(wǎng)絡(luò)的唇讀識別方法。采用附加動量法和自適應(yīng)學(xué)習(xí)速率法在樣本集上訓(xùn)練BP網(wǎng)絡(luò)，該訓(xùn)練方法可避免網(wǎng)絡(luò)陷入局部最小的問題，同時加快BP網(wǎng)絡(luò)的收斂速度。在唇動特征的支持下，識別算法在對說話人的發(fā)音口型識別中，均取得了滿意的結(jié)果。