基于文本的語言識別方法研究.pdf

1、本研究針對因特網(wǎng)上的文本數(shù)據(jù)進行語言識別，包括網(wǎng)頁和電子郵件內容等，以構建實時、高效的語言識別模塊為目標，設計了一種復合方法來實現(xiàn)多語種文本的語言識別。文章首先介紹了區(qū)域編碼方案和Unicode并存的現(xiàn)狀，指出語言識別在計算機自然語言處理領域中的廣泛應用，分析了語言識別方法的研究現(xiàn)狀。然后，具體研究了目前主要的基于文本的語言識別方法，包括基于編碼非重疊區(qū)的、采用字頻分布統(tǒng)計的、利用馬爾可夫模型建立語言模型的以及采用部分匹配預測壓縮算法的

2、語言識別方法，這些技術將被用到文中提出的語言識別模塊設計方案中。之后，本文設計了一種語言識別的方法，即融合了基于編碼非重疊區(qū)的識別方法和語言統(tǒng)計模型識別方法的復合識別方法。在對真實數(shù)據(jù)進行實驗和分析的基礎上，設計了語言字符分布律統(tǒng)計模型和可信度計算模型，保證了準確和高效地實現(xiàn)語言識別。 本文設計和實現(xiàn)的語言識別模塊能夠對目前因特網(wǎng)上廣泛使用的主要語言字符集進行識別，包括Unicode字符集，多字節(jié)和單字節(jié)編碼方式的字符集，滿足電