基于音頻和視頻特征融合的身份識別.pdf

1、針對單模態(tài)的說話人識別和人臉識別在準確率，應(yīng)用的限制性和局限性等方面的缺點，本文從信息融合的角度出發(fā)，在特征層將兩種單模態(tài)信息進行融合，實現(xiàn)音頻信息和視頻信息雙模態(tài)特征融合的身份識別。
　　 本文首先就單模態(tài)的說話人識別和人臉識別進行了分析。結(jié)合VQ和SVM識別模型各自的優(yōu)點，實現(xiàn)了一種基于VQ和SVM混合說話人識別模型。對于特征臉人臉識別算法，本文用L1-范數(shù)，歐氏距離，MIN距離和混合馬氏距離四種度量距離對算法進行了比較。然

2、后將脈沖耦合神經(jīng)網(wǎng)絡(luò)應(yīng)用到人臉識別中，并在此基礎(chǔ)上建立了人臉識別系統(tǒng)。
　　 其次本文重點對雙模態(tài)的音視頻特征融合識別進行了研究，由于特征層融合可用的信息量大，可以用于實時處理，故本文實現(xiàn)了基于歸一化和SVM，基于PCNN兩種融合識別算法在特征層對音頻和視頻特征進行融合識別。前者本文是利用特征相連法將語音特征和人臉特征相連在一起，后者是將兩種特征的熵序列融合在一起。實驗表明，融合系統(tǒng)的識別率都要比單模態(tài)的識別率要高，特別是將噪音