基于因子分析的說話人分離技術(shù)研究.pdf

1、高速發(fā)展的計算機水平和音頻處理技術(shù)，使得人們對于從海量數(shù)據(jù)中獲取到感興趣的人聲，越來越有需求。另一方面，如何對獲取到的各類音頻進行合理有效的管理，也是目前存在的一大挑戰(zhàn)。在此背景下，為了滿足上述需要，說話人分離這一關(guān)鍵技術(shù)應(yīng)運而生，其主要涉及兩個過程:說話人分割和說話人聚類。
　　說話人分離系統(tǒng)幾乎無任何可供參考的先驗信息使用，容易受環(huán)境或者建模方法的影響，使得分割和聚類時說話人片段的類純度得不到保證。另外，基于距離準則的層次聚類

2、方式一旦出現(xiàn)聚類誤差，會一直的向上傳遞。因此本文主要在說話人分割和聚類的建模方法以及類別提純上展開了探索和研究，主要工作和創(chuàng)新點如下:
　　第一，說話人分離前端語音端點檢測（VAD）和類別提純方面的研究。針對基線系統(tǒng)中存在的低能量語音難以召回以及噪聲難以去除的情形，引入了深度學(xué)習(xí)的方法，在分離前端進行改進。針對層次聚類時出現(xiàn)聚類誤差向上傳遞的情況，提出了基于貝葉斯信息準則(BIC)的短時類別提純方法，削弱由層次聚類帶來的誤差向上傳

3、遞的影響。實驗結(jié)果表明，基于深度學(xué)習(xí)的語音端點檢測，能有效的降低說話人分離時的虛警和漏警，并且降低說話人分離錯誤率，且基于短時BIC類別提純的方法，能更新部分聚類錯誤的說話人片段，提高后續(xù)說話人聚類的類純度。
　　第二，說話人轉(zhuǎn)折點檢測建模方法的研究。探索了基于深度神經(jīng)網(wǎng)絡(luò)(DNN)的建模方法在說話人轉(zhuǎn)折點檢測中的應(yīng)用，利用其強大的模型表達能力，提高說話人分割的準確性。實驗結(jié)果表明，這種基于深度學(xué)習(xí)的轉(zhuǎn)折點檢測建模方法相比于傳統(tǒng)的

4、BIC建模方法，無論是在轉(zhuǎn)折點檢測的準確率和召回率，還是對整個系統(tǒng)的分離錯誤率(DER)來說，都獲得了一定的效果提升。
　　第三，說話人聚類時的因子分析建模方法研究。傳統(tǒng)的以貝葉斯信息準則作為相似性度量的說話人分離技術(shù)，在短時對話的分離任務(wù)中能取得較好的效果，但是隨著對話時長的增加，BIC的單高斯模型不足以描述不同說話人數(shù)據(jù)的分布，且層次聚類時區(qū)分相同說話人和不同說話人的門限值難以劃定。針對此問題，本文嘗試基于短時BIC和長時概率

5、線性判別分析(PLDA)融合的方法，充分利用BIC在短時聚類的可靠性和PLDA在長時段上的優(yōu)異區(qū)分性，來實現(xiàn)說話人聚類過程。實驗表明，因子分析框架下的說話人信息建模方法能有效的降低說話人分離錯誤率，使得性能相對提升34.2％。
　　第四，說話人聚類過程中的變分貝葉斯（VB）調(diào)優(yōu)方法研究。通過與因子分析框架下的全差異空間相結(jié)合，將傳統(tǒng)的層次聚類方式轉(zhuǎn)化為在保證最優(yōu)化目標(biāo)函數(shù)的前提下，對某個片段屬于某個說話人的最大后驗概率估計的一種軟