唇讀技術(shù)的研究及其應(yīng)用.pdf

1、人類的語言認(rèn)知過程是一個多通道的感知過程。除聲音信息通道外，唇動視覺信息可以作為一種重要的語音理解源。視覺語言具有許多潛在的應(yīng)用，因此通過機(jī)器的自動唇語識別即唇讀技術(shù)近年來成為一個備受關(guān)注的研究領(lǐng)域。大多數(shù)研究者的目的是把唇語識別和語音識別相融合，以提高語音識別的正確率。不同于這些研究，本文研究的目的是把唇讀技術(shù)應(yīng)用于語言殘疾者的康復(fù)工程中，最終設(shè)計一個視覺語言驅(qū)動的實時語音合成系統(tǒng)。因此，本文主要研究了唇讀中的一些關(guān)鍵技術(shù)并實現(xiàn)了一個

2、基于孤立詞識別的唇讀系統(tǒng)。 本文首先介紹了目前唇讀研究的現(xiàn)狀與發(fā)展水平，詳細(xì)闡述了唇讀研究的內(nèi)容和方法，以及唇讀研究的意義。在此基礎(chǔ)上，提出了本文的唇讀系統(tǒng)實現(xiàn)方案，該系統(tǒng)主要包括視覺前端、視覺特征提取單元和唇語識別理解單元三部分。 視覺前端主要是把人說話時的唇動序列圖像實時送入計算機(jī)，并對唇進(jìn)行定位和跟蹤。因此本文設(shè)計了一個基于USB的圖像采集系統(tǒng)，該系統(tǒng)采用專門的視頻處理芯片對模擬視頻信號進(jìn)行處理，然后采用CPLD、

3、DSP和USB技術(shù)實現(xiàn)對數(shù)字視頻信號的采集和傳輸。該系統(tǒng)設(shè)計合理，易于實現(xiàn)，同時具有連接方便，即插即用等優(yōu)點。 視覺特征提取單元首先采用一種唇色濾波器對圖像進(jìn)行預(yù)處理，增強(qiáng)了唇色，然后采用主動輪廓模型算法實現(xiàn)口型輪廓的提取和跟蹤。文中采用了一種改進(jìn)的主動輪廓模型算法，該算法引入作用方向可以自適應(yīng)變化的外加強(qiáng)制力，使控制點能夠不依賴于初始輪廓而快速收斂到目標(biāo)的真實輪廓，且初始輪廓自動確定，控制點的數(shù)目可以自適應(yīng)地改變。該主動輪廓模

4、型算法可以實現(xiàn)對唇型輪廓的快速提取。 唇語識別和理解單元是利用視覺特征提取單元提供的口型特征參數(shù)，采用隱馬爾可夫模型(HMM)訓(xùn)練和識別圖像序列的發(fā)音類。HMM過程是一個雙重的隨機(jī)過程，這與人類語言的唇動過程是相吻合的。為提高系統(tǒng)識別的正確率，系統(tǒng)設(shè)計中采用了連續(xù)型隱馬爾可夫模型。文中詳細(xì)討論了在使用HMM中的模型初始化、參數(shù)訓(xùn)練和識別問題并給出了實驗結(jié)果。 本文設(shè)計的唇讀系統(tǒng)在對特定人5個孤立詞的實驗中，可以達(dá)到61％