服務(wù)機(jī)器人語音唇讀人機(jī)交互技術(shù)研究.pdf

1、本論文圍繞助老助殘服務(wù)機(jī)器人課題，以智能輪椅為平臺，以語音唇讀人機(jī)交互方式作為研究對象，重點(diǎn)對唇讀識別問題作了深入研究。對目前唇讀技術(shù)存在的問題作了分析，對各個(gè)關(guān)鍵環(huán)節(jié)提出了相應(yīng)的解決思路，包括人臉檢測和ROI(Region Of Interesting)定位方法、唇讀特征提取算法、唇讀識別模型以及語音唇讀的融合算法，涵蓋了語音唇讀系統(tǒng)的全部過程。通過大量的實(shí)驗(yàn)和研究，我們?nèi)〉昧艘恍┯幸饬x的成果，所有研究成果都在特定人雙模態(tài)數(shù)據(jù)庫上得到

2、了驗(yàn)證。最后，我們設(shè)計(jì)了一個(gè)實(shí)時(shí)在線語音唇讀人機(jī)交互系統(tǒng)，該系統(tǒng)包括軟件和硬件兩部分，采用上下位機(jī)通訊的方式實(shí)現(xiàn)了對智能輪椅進(jìn)行語音唇讀控制。本論文的主要研究成果如下：
　　 針對唇讀人機(jī)交互中的人臉檢測和ROI定位問題，首次提出了一種新穎的自適應(yīng)ROI定位算法。該算法通過選擇HSV顏色模型排除了照度分量，利用自適應(yīng)算法克服了不同個(gè)體在膚色和唇色上的差異性，而且同時(shí)完成了人臉和ROI定位。為增強(qiáng)算法的魯棒性，又在包含各色人種的F

3、reret數(shù)據(jù)庫上進(jìn)行了算法驗(yàn)證。實(shí)驗(yàn)表明該算法總體性能指標(biāo)優(yōu)于其它ROI定位算法。
　　 通過對現(xiàn)有各種唇讀特征提取方法進(jìn)行比較，首次提出了一種基于LDAO(Linear Discriminant Analysis based on Object)的唇讀特征提取算法。在語音與唇讀識別應(yīng)用中傳統(tǒng)的LDA(Linear Discriminant Analysis)算法一般以音節(jié)、HMM狀態(tài)等基元為類別，獲得的最具判別力的特征投影主

4、軸和識別率不直接相關(guān)，影響了識別率。LDAO算法以待識別對象為類別進(jìn)行線性判別分析，在理論上保證了唇讀特征矢量向最具判別能力的主軸投影，基于唇讀數(shù)據(jù)庫的實(shí)驗(yàn)證明，該算法明顯優(yōu)于現(xiàn)有各種唇讀特征提取算法。
　　 針對HMM、ANN模型在模式分類中固有的缺陷，采用了基于支持向量機(jī)(Support Vector Machine，SVM)的唇讀識別方法。SVM基于最小結(jié)構(gòu)風(fēng)險(xiǎn)的分類原理，一方面解決了小樣本下的模式分類問題，另一方面克服了

5、傳統(tǒng)HMM分類器諸多不合理的前提假設(shè)，從理論上來說，在有限的樣本下SVM應(yīng)該具有最優(yōu)的分類性能。針對SVM在實(shí)際應(yīng)用中有待解決的問題，如要求輸入特征維數(shù)固定，這個(gè)條件極大地限制了其處理動(dòng)態(tài)時(shí)間序列的能力，本文對現(xiàn)有的主要特征序列規(guī)整方法進(jìn)行了實(shí)驗(yàn)比較。實(shí)驗(yàn)證明，在有限樣本的情況下采用有效的特征規(guī)整方法后，SVM識別率優(yōu)于傳統(tǒng)的HMM。
　　 關(guān)于語音唇讀融合識別問題，提出了一種基于耦合隱馬爾可夫模型(CoupledHide Ma

6、rkov Model, CHMM)的異步信息中期融合識別策略。該策略既考慮到了語音唇讀信息在時(shí)間上的相關(guān)性，又解決了兩個(gè)信息流之間的異步問題。為簡化計(jì)算，通過限制信息流的狀態(tài)數(shù)量和限制信息流之間的異步程度簡化了模型結(jié)構(gòu)。此外，將耦合HMM等效變換為一種雙流HMM后，利用傳統(tǒng)HMM的算法解決了耦合HMM訓(xùn)練與識別問題。在語音唇讀雙模態(tài)數(shù)據(jù)庫上的實(shí)驗(yàn)證明，該算法優(yōu)于同步早期融合法和同步雙流HMM融合法。
　　 最后，我們建立了國內(nèi)首