語(yǔ)音到手勢(shì)轉(zhuǎn)換的FPGA實(shí)現(xiàn).pdf

1、目前，全球超過(guò)6.3億人因?yàn)槁犃φ系K給生活和學(xué)習(xí)造成極大的困擾。雖然現(xiàn)有的研究已經(jīng)實(shí)現(xiàn)了手勢(shì)到語(yǔ)音的轉(zhuǎn)換，但是缺乏語(yǔ)音到手勢(shì)的轉(zhuǎn)換研究，這使得言語(yǔ)障礙者與外界溝通之間存在極大的障礙。為此，論文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于FPGA的語(yǔ)音到手勢(shì)的轉(zhuǎn)換系統(tǒng)。首先訓(xùn)練了孤立詞的語(yǔ)音識(shí)別聲學(xué)模型，同時(shí)根據(jù)《中國(guó)手語(yǔ)》錄制了孤立詞所對(duì)應(yīng)的手勢(shì)圖像。在此基礎(chǔ)上，利用FPGA實(shí)現(xiàn)了語(yǔ)音到手勢(shì)的轉(zhuǎn)換，將手勢(shì)圖像和訓(xùn)練好的孤立詞聲學(xué)模型存入FPGA的SDRAM中，

2、將輸入的孤立詞語(yǔ)音信號(hào)與孤立詞聲學(xué)模型進(jìn)行匹配，輸出匹配度最優(yōu)的結(jié)果，最終將識(shí)別出的孤立詞對(duì)應(yīng)的手勢(shì)顯示在FPGA的配套LCD液晶屏上。論文的主要工作和創(chuàng)新如下：
　　1.實(shí)現(xiàn)了一個(gè)基于隱Markov模型（HMM）的語(yǔ)音孤立詞識(shí)別系統(tǒng)。錄制了20個(gè)孤立詞的訓(xùn)練語(yǔ)料，采用梅爾頻率倒譜系數(shù)（MFCC）作為聲學(xué)特征，利用HTK實(shí)現(xiàn)了模型的訓(xùn)練。實(shí)驗(yàn)結(jié)果表明，本文實(shí)現(xiàn)的孤立詞識(shí)別系統(tǒng)能夠在特定人上達(dá)到100％的識(shí)別率。
　　2.錄制

3、20個(gè)孤立詞語(yǔ)音所對(duì)應(yīng)的手勢(shì)圖像。在《中國(guó)手語(yǔ)》日常會(huì)話教材中選取0-10這11個(gè)阿拉伯?dāng)?shù)字，以及贊美、友好、拒絕、感恩、好的、鄙視、愛(ài)心、愛(ài)、差勁合計(jì)20個(gè)孤立詞所對(duì)應(yīng)的手勢(shì)圖像。將選取的孤立詞手勢(shì)圖像用分辨率為240x320的BMP格式來(lái)保存，用于最終在液晶屏上手勢(shì)圖像的顯示。
　　3.實(shí)現(xiàn)了基于FPGA的語(yǔ)音到手勢(shì)的轉(zhuǎn)換系統(tǒng)。以NIOS II為軟核處理器系統(tǒng)，將Nios II嵌入到FGPA芯片EP4CE115F29C7N中，

4、完成語(yǔ)音信號(hào)實(shí)時(shí)采集、語(yǔ)音解碼存儲(chǔ)、語(yǔ)音識(shí)別模式匹配、手勢(shì)圖像液晶顯示四個(gè)部分。對(duì)系統(tǒng)架構(gòu)進(jìn)行了單一模塊的調(diào)試與整合調(diào)試。此外，結(jié)合SOPC特性，設(shè)計(jì)了人機(jī)接口，完成了一個(gè)基于FPGA平臺(tái)的語(yǔ)音識(shí)別到手勢(shì)圖像顯示的系統(tǒng)。
　　4.對(duì)系統(tǒng)進(jìn)行了測(cè)試。對(duì)硬件平臺(tái)運(yùn)行速度與軟件平臺(tái)運(yùn)行速度進(jìn)行了對(duì)比，結(jié)果表明FPGA硬件平臺(tái)識(shí)別的時(shí)間比軟件平臺(tái)快30倍。對(duì)兩個(gè)不同環(huán)境下的系統(tǒng)進(jìn)行特定人和非特定人語(yǔ)音識(shí)別到手勢(shì)顯示識(shí)別率的測(cè)試，得出安靜環(huán)