統(tǒng)計(jì)和規(guī)則相結(jié)合的語言模型在中文輸入法中的應(yīng)用研究.pdf

1、隨著計(jì)算機(jī)與互聯(lián)網(wǎng)的廣泛普及，語言信息處理的社會需求日益增大，人們迫切需要用自動化的手段處理海量的語言信息。在這種情形下，作為智能化人機(jī)接口重要組成部分的漢字鍵盤輸入技術(shù)成為中文信息處理的研究熱點(diǎn)之一。 在漢字鍵盤輸入法研究中，統(tǒng)計(jì)語言模型因其魯棒性強(qiáng)、簡潔、易實(shí)現(xiàn)等特點(diǎn)而得到廣泛應(yīng)用。但統(tǒng)計(jì)語言模型本身存在數(shù)據(jù)稀疏性、領(lǐng)域依賴性、規(guī)模過大以及解碼速度慢等問題。同時，單純基于統(tǒng)計(jì)的語言模型較少地考慮詞義、語義、上下文關(guān)系等語言規(guī)

2、則，造成模型應(yīng)用結(jié)果不合理，影響了輸入法的性能。 針對以上問題，本文研究了統(tǒng)計(jì)和規(guī)則相結(jié)合的語言模型，并將其應(yīng)用于輸入法。 在語言模型平滑和壓縮方面，本文采用基于圖靈估計(jì)的減值法和Katz法結(jié)合的方法對模型進(jìn)行平滑，采用基于單元重要性的方法縮小模型規(guī)模； 在語言規(guī)則提取方面，本文基于語義場來提取詞網(wǎng)中詞類特定的搭配規(guī)則； 在語言模型領(lǐng)域依賴方面，本文采用基礎(chǔ)語言模型和用戶模型相結(jié)合的方法來實(shí)現(xiàn)語言模型的自