謊言語音檢測分析研究.pdf

1、本文的主要研究工作在于利用數(shù)字語音處理技術(shù)對謊言語音信號進行分析與識別分類。將數(shù)字信號處理手段用于分析語音信號中所包含的豐富信息（比如語義、身份、情緒等），是計算機信息處理技術(shù)發(fā)展過程中所獲得的重要成果。在這些成果基礎(chǔ)之上，近年來開展的基于語音信號處理技術(shù)的心理生理計算研究是融合了心理生理學(xué)、信息與計算機科學(xué)等諸多學(xué)科領(lǐng)域的綜合性課題。
　　謊言檢測是心理生理信息計算中的重要分支，而目前主流的測謊手段以腦電信號處理（P300信號分

2、析）與腦成像分析(大腦的功能磁共振成像，F(xiàn)unctional MagneticResohance Imaging，F(xiàn)MRI)為主，這些手段以腦部信息記憶機理等生理學(xué)研究成果為支撐，在一定程度上獲得了較好的效果。但此類方法對于某些缺少記憶信息的應(yīng)用將會失效，且更為重要的一點是此類測謊方法使用過程較為繁瑣，且需要被測者一定程度的配合，導(dǎo)致在很多應(yīng)用場合的不適用。目前，腦電與腦成像測謊的結(jié)果只能在刑偵與司法領(lǐng)域作為參考依據(jù)。
　　近年來

3、，視頻分析理論的成熟推動了基于面部表情分析說謊狀態(tài)識別研究，概率圖模型理論的發(fā)展也為自然語言分析謊言檢測提供了更多的發(fā)展空間，而語言聲學(xué)、聽覺語音學(xué)、語言生理學(xué)研究的進一步深入，使得基于語音處理的謊言檢測再次受到各國研究學(xué)者的重視。心理壓力評估(Psychological Stress Evaluators，PSE)，語音緊張度分析(Voice Stress Analyzers，VSA)和多層次語音分析技術(shù)(Layered Voice

4、Analysis，LVA)等研究工作在數(shù)字信號處理理論的發(fā)展下有了新的意義，但是大部分謊言檢測系統(tǒng)的正確率都只在60％-70％之間。隨著各方面工作的深入，阻礙語音測謊技術(shù)發(fā)展的桎梏也逐漸顯現(xiàn):1、沒有針對謊言檢測的語音特征參數(shù)，導(dǎo)致原本就極為微弱的謊言信息無法被突出;2、識別模型缺乏創(chuàng)新，使得人在說謊時的時間動態(tài)特性沒有充分考慮。鑒于謊言語音識別中尚存在的諸多問題，本文開展了關(guān)于謊言語音檢測可計算性、匹配特征表達及時序建模等研究工作，具

5、體內(nèi)容如下:
　　1、統(tǒng)計各類特征參數(shù)在正常語音和謊言中的分布，提出分布差異度函數(shù)，并證明了謊言信息在語音信號中的存在性，也表明基于語音測謊的可行性。鑒于現(xiàn)有相關(guān)研究成果中關(guān)于語音測謊可行性計算的缺失，本文首先采用分布統(tǒng)計手段對多種語音信號特征進行分析，并提出分布差異度函數(shù)，量化計算正常語音與謊言語音在特征分布上的差異，并由信息量估計證明了謊言信息在語音信號中的存在性，為基于語音技術(shù)的謊言檢測提供可行性依據(jù)。
　　2、提出基

6、于語音信號聽覺頻段瞬時頻率特征的謊言識別方法，突出了不同頻段信號的頻率細節(jié)特征，增強了說謊狀態(tài)下特征參數(shù)關(guān)于語音異變的敏感度，從而提高謊言檢測正確率。人在說謊時由于情緒緊張會導(dǎo)致發(fā)音器官變化，從而影響語音表達，這是語音測謊的主要生理依據(jù)。相關(guān)研究成果表明，基于聽覺機理的聲信號處理方法適合用于處理此類問題。本課題利用聽覺Gammatone濾波器組對語音信號進行分解，提出利用格型迭代算法估計各個頻段信號的瞬時頻率，通過瞬時頻率的變化表征人體

7、發(fā)音器官在正常說話與說謊狀態(tài)下的差異，強化謊言信息在語音信號中的比重，并利用數(shù)學(xué)模型予以分類識別。結(jié)果表明聽覺瞬時頻率特征的引入使得個體謊言語音檢測正確率提高2％-10％左右。
　　3、提出分數(shù)階Mel倒譜系數(shù)(Fractional Mel Cepstral Coefficient，F(xiàn)rCC)為特征參數(shù)的謊言語音檢測方法，在保留語音特征穩(wěn)健性的基礎(chǔ)上強化了說話人的個性特征，進一步提高個體謊言識別率。由于謊言信息極為微弱，故檢測參數(shù)

8、既要對謊言信息有足夠的敏感度，同時又要具有較高的魯棒性。而本課題提出的FrCC參數(shù)，利用分數(shù)階分析方法對MFCC參數(shù)進行了優(yōu)化，既保留了MFCC參數(shù)對語音信息表達的穩(wěn)健性能，也體現(xiàn)了語音信號的相位信息，使得說話人的個性特征能夠被保留，說謊狀態(tài)也更容易被發(fā)現(xiàn)。實驗結(jié)果表明FrCC參數(shù)的引入，對于提高謊言語音的檢測正確率起到了明顯的促進作用。
　　4、建立基于多尺度條件隨機場(Multi-scale Conditional Rando

9、m Fields，MCRF)的謊言檢測時序模型，實現(xiàn)多層特征抽象到心理生理狀態(tài)映射機制，使得謊言檢測系統(tǒng)的性能得到顯著提高。MCRF實現(xiàn)了從語音信號的聲學(xué)特征提取，到韻律層信息抽象，再到心理生理層狀態(tài)鏈估計的一體化模型，該模型拓展了語音信號的全局上下文相關(guān)信息，彌補了語音信號中謊言信息量較為微弱的缺點，實現(xiàn)了謊言語音信號的時序建模工作，最終的平均識別正確率達到75％以上。
　　這些工作可以作為基于語音處理的謊言檢測的參數(shù)和模型方面