線性變換方法用于提高概率統(tǒng)計模型性能的研究.pdf

1、概率統(tǒng)計模型是當今的模式識別領域中的一種非常成功的模型。它有較完善的理淪支持，高效的訓練算法，能用較少的模型參數(shù)來描述大量數(shù)據(jù)的分布，因而成為連續(xù)語音識別，說話人識別等任務中的主流模型，并且在實際應用中獲得了很大的成功。概率統(tǒng)計模型的性能取決于模型形式的選擇以及模型參數(shù)的估計。在訓練數(shù)據(jù)足夠充分的情況下，模型參數(shù)越多，模型對于訓練數(shù)據(jù)的描述越精細，模型的性能也就越好。然而，在實際應用中，訓練數(shù)據(jù)總是有限的，模型過于復雜會導致模型參數(shù)無法

2、得到可靠估計，反而影響模型的性能。因此，如何在有限數(shù)據(jù)情況下，選擇合理的模型形式，控制參數(shù)數(shù)量，是提高模型性能，保證系統(tǒng)實用性的關鍵。 協(xié)方差矩陣是概率統(tǒng)計模型參數(shù)的最主要部分，其形式的選擇對模型性能的影響很大。選擇全矩陣形式，模型能顯式的刻畫特征矢量各維之間的相關性，然而，對于高維的特征矢量，要估計的參數(shù)數(shù)量會很大，不僅計算量大，而且在有限訓練數(shù)據(jù)情況下不容易得到穩(wěn)健的估計。而選擇對角矩陣，模型的參數(shù)數(shù)量較少，較容易得到充分可

3、靠的估計。因此，在實際應用中，一般將協(xié)方差矩陣選為對角形式。然而，使用對角形式的前提假設是特征矢量各維之間不相關，在很多實際應用中，這種假設并不合理，它將明顯影響到模型的描述能力，從而影響到系統(tǒng)的識別性能。 針對這個問題，本論文分別研究了利用線性變換提高高斯混合模型(GMM)和隱馬爾科夫模型(HMM)兩種用于語音識別的概率統(tǒng)計模型的相關性描述能力。 論文首先研究了采用特征空間的線性變換對特征矢量進行解相關來提高GMM模型

4、相關性描述能力的方法。論文分析并實現(xiàn)了PCA，LDA，MLLT三種特征空間線性變換算法，用于與文本無關的說話人識別。實驗結果表明，對于基于對角協(xié)方差形式的GMM識別系統(tǒng)，采用了三種不同特征空間線性變換，都使系統(tǒng)性能有明顯提高，證明了該方法的有效性和穩(wěn)定性。 然而，對于與文本無關的說話人識別等比較復雜的任務，由于訓練數(shù)據(jù)量大，想在全特征空間找到一個全局的線性變換矩陣對所有的特征矢量解相關是很困難的。如使用多個線性變換，將特征矢量分

5、類解相關，則可望獲得更好的效果。因此，本論文進一步提出了一種基于GMM的模型分類子空間線性解相關的框架。同時提出了基于協(xié)方差矩陣相似性的無監(jiān)督聚類算法，將GMM各個高斯成分按相似性進行分類，獲得框架所需要的模型分類子空間。這種框架可以根據(jù)訓練數(shù)據(jù)量大小，采用任意多個變換陣，具有很好的靈活性，既能精細的對特征矢量進行解相關，又能保證模型參數(shù)的可靠估計。此外，該框架仍采用對角協(xié)方差形式，具有模型參數(shù)數(shù)量較少，計算量較低的優(yōu)點。實驗表明，模型

6、子空間線性解相關的框架不僅比基于對角協(xié)方差矩陣的GMM系統(tǒng)有超過35％的相對提高，并且相對于特征空間線性解相關也有超過25％的提高。 對于HMM模型，論文研究實現(xiàn)并比較了在不同級別上共享STC和多類HLDA兩種最大似然模型空間線性變換算法，用于提高基于HMM的連續(xù)語音識別系統(tǒng)的性能。隨著分類數(shù)的增加，由于STC和多類HLDA算法的線性變換矩陣參數(shù)難以獲得可靠估計，從而影響了算法的魯棒性。論文進一步提出了將協(xié)方差矩陣補償算法HCC