基于融合語音和圖像的雙模態(tài)身份識(shí)別研究.pdf

1、準(zhǔn)確高效的身份識(shí)別和認(rèn)證技術(shù)被推到了重要的位置。身份識(shí)別逐漸成為人工智能和人機(jī)交互領(lǐng)域的一個(gè)重要研究方向，具有深遠(yuǎn)的理論意義和應(yīng)用前景，通過閱讀國(guó)內(nèi)外大量的文獻(xiàn)與資料，發(fā)現(xiàn)人臉識(shí)別作為身份識(shí)別中的一種且在人臉識(shí)別研究中鑒于單一模態(tài)人臉特征的局限性。提出融合語音和人臉圖像的雙模態(tài)身份識(shí)別方法，并進(jìn)行了較深入的研究。發(fā)現(xiàn)兩者可以取長(zhǎng)補(bǔ)短、有著互補(bǔ)的作用，實(shí)驗(yàn)證明，融合語音和人臉圖像的雙模態(tài)身份識(shí)別方法會(huì)有更好的識(shí)別性能。
　　針對(duì)融合

2、語音和圖像的雙模態(tài)身份識(shí)別研究，本文研究?jī)?nèi)容與創(chuàng)新點(diǎn)主要如下：
　?。?）自建語音和人臉數(shù)據(jù)庫，為保證語音識(shí)別過程中隨著被測(cè)試人的情感變化增加識(shí)別的穩(wěn)定性，語音庫選用采集情感語音數(shù)據(jù)庫，獲取同一個(gè)人其中立、高興、驚奇、悲傷、憤怒五種情感狀態(tài)下的發(fā)音。人臉庫采集盡可能多的選取圖像預(yù)處理后表情豐富、多方向、不同距離等有代表性的JPG格式圖片。
　　（2）語音識(shí)別方面采用提取音頻的MFCC特征，選取隱馬爾可夫模型（HMM）分類器進(jìn)

3、行語音識(shí)別，經(jīng)實(shí)驗(yàn)選取60維的MFCC特征識(shí)別率達(dá)到最高為75.3％，為了進(jìn)一步提高語音識(shí)別率，提出一種63維特征的語音識(shí)別方法，即在此基礎(chǔ)上提出將取對(duì)數(shù)后的 MFCC、平均短時(shí)能量、平均過0率(ZCR)標(biāo)準(zhǔn)差、共振峰四個(gè)語音特征進(jìn)行特征融合組成63維的語音特征向量，用同種分類方法得出識(shí)別率達(dá)到82.6%。比之前的只提取單模態(tài)情形下的MFCC特征參數(shù)識(shí)別率高出了7.3%。
　?。?）在LBP算子的基礎(chǔ)上進(jìn)行改進(jìn)，提出了一種W-LB

4、P算法強(qiáng)化面部特征。并采用Adaboost算法進(jìn)行人臉檢測(cè)與定位。實(shí)驗(yàn)表明，W-LBP算法較好的二值化能夠使得接下來的人臉定位更加準(zhǔn)確。
　?。?）人臉識(shí)別中為了彌補(bǔ)PCA方法對(duì)樣本圖像進(jìn)行降維后會(huì)保留那些表情、姿勢(shì)和光照等干擾信息和 LDA方法很難解決類間離散度矩陣的定義問題和小樣本問題，這里選用 PCA+LDA融合算法實(shí)現(xiàn)人臉識(shí)別，經(jīng)實(shí)驗(yàn)取特征臉子空間維數(shù)Z=80時(shí)識(shí)別率最高，識(shí)別率為89.1%。
　?。?）進(jìn)行融合語音