基于數(shù)據(jù)聚類的語言模型研究.pdf

1、統(tǒng)計語言模型是二十世紀八十年代興起的語言建模方法，經(jīng)過近30年的發(fā)展，它已經(jīng)得到了廣泛的應(yīng)用，深入到各個領(lǐng)域，包括語音識別、信息檢索、機器翻譯、手寫識別、中文自動分詞、音字轉(zhuǎn)換領(lǐng)域等等。較為傳統(tǒng)的統(tǒng)計語言模型，即詞的N元語法模型，僅考慮了先后相鄰詞的關(guān)系，并無語義信息的融入，并且隨著當前信息量越來越多，語料庫越來越大，數(shù)據(jù)稀疏成了統(tǒng)計語言模型所面臨的主要問題之一，解決數(shù)據(jù)稀疏問題能夠大大提高系統(tǒng)的性能。本文研究的基于類的語言模型能夠有效

2、解決語言模型的數(shù)據(jù)稀疏問題，具有非常重要的研究意義。本文研究的目的是研究基于詞聚類的語言模型的算法，提高統(tǒng)計語言模型的性能?；跀?shù)據(jù)聚類的語言模型能夠有效的解決統(tǒng)計語言模型的數(shù)據(jù)稀疏問題。主要研究內(nèi)容如下：
　　 ⑴介紹了統(tǒng)計語言模型的基本理論知識，并詳細講解了各種可以解決數(shù)據(jù)稀疏問題的方法，例如：參數(shù)平滑回退算法，數(shù)據(jù)擴充方法，并重點介紹了數(shù)據(jù)聚類方法以及語言模型的評價方法。
　　 ⑵研究實現(xiàn)了傳統(tǒng)的數(shù)據(jù)聚類方法。這種

3、方法把互信息作為目標函數(shù)，使用貪婪算法，獲得最大互信息。由于貪心算法容易陷入局部最優(yōu)，是一種次優(yōu)的分類。
　　 ⑶針對傳統(tǒng)方法沒有體現(xiàn)詞聚類的語義信息，所以研究了能夠體現(xiàn)語義信息的基于相似度聚類的方法。這種方法考慮了詞語的相鄰上下文信息，聚類結(jié)果體現(xiàn)出一定的語義信息，之后對這種方法進行了對比實驗和分析，結(jié)果表明，這種方法要優(yōu)于傳統(tǒng)的聚類方法。
　　 ⑷針對基于互信息的聚類算法只能包含有限的上下文信息，作者提出了一種基于潛