中文整句智能輸入方法研究.pdf

1、自從計算機進入我國，面臨的首要問題是中文輸入問題。經(jīng)過20多年的研究，中文的鍵盤輸入從最初的單字輸入、詞語輸入，發(fā)展到整句輸入，使得輸入法越來越具有智能性，能夠借助語言的特性提高輸入法的性能。中文整句智能輸入，實際上是將輸入碼轉(zhuǎn)換成候選的中文字詞，然后根據(jù)中文的習慣，選出最大可能的候選語句作為最終的結(jié)果。它具有連續(xù)輸入、不打斷用戶思路等優(yōu)點，但是整句轉(zhuǎn)換正確率不高，修改起來比較麻煩，且占用系統(tǒng)資源，使用中不盡人意。本文以拼音輸入為例，研

2、究輸入法的整句實現(xiàn)，根本目的在于給S&R中文筆畫智能輸入法增加整句功能，使其在競爭激烈的輸入法領(lǐng)域占有一席之地。 中文整句智能輸入問題可以使用信息論中的信源．信道模型進行描述。假設(shè)信源以概率p(S)生成語句S，噪聲信道根據(jù)p(A|S)把文本的句子轉(zhuǎn)換為拼音序列A。中文整句智能輸入問題是根據(jù)給定噪聲信道輸出的拼音序列A，還原原始文本句子S，即選擇具有最大后驗概率p(S|A)作為輸出結(jié)果。因此可以采用統(tǒng)計的方法實現(xiàn)中文整句智能輸入。

3、在N-gram模型中，把自然語言看成一個離散的馬爾可夫模型，假設(shè)當前詞的出現(xiàn)概率僅與前n-1個詞有關(guān)，而與其他任何詞都不相關(guān)。考慮到中文整句智能輸入的系統(tǒng)實時性要求，采用二元模型。本文使用SRILM統(tǒng)計語言工具包進行了語料庫一元組和二元組的統(tǒng)計，按照首字區(qū)位碼進行排序，二分查找，有效的建立了便于搜索的統(tǒng)計語言模型。 中文整句拼音智能輸入系統(tǒng)包括拼音預處理模塊、狀態(tài)空間生成模塊和機器學習模塊。拼音預處理模塊采用最少分詞算法將輸入的

4、連續(xù)拼音流進行切分，輸出一個離散的拼音音節(jié)序列，送入狀態(tài)空間生成模塊。狀態(tài)空間生成模塊根據(jù)輸入的音節(jié)構(gòu)造狀態(tài)空間，插入對應(yīng)的候選字詞節(jié)點，在插入的同時，利用Viterbi動態(tài)規(guī)劃算法，將通用語言模型和用戶語言模型通過加權(quán)結(jié)合起來，計算累積概率，最后由狀態(tài)空間模型回溯算法得到最優(yōu)語句候選。狀態(tài)空間生成模塊輸出的句子經(jīng)過用戶的聯(lián)機修正成為正確的句子。該模塊修改用戶學習的二元統(tǒng)計庫的概率值，進行記憶學習，從而使系統(tǒng)的自適應(yīng)能力越用越好。在狀態(tài)

5、空間模型中，對于插入操作，即用戶在原來輸入的基礎(chǔ)上接著又輸入一個拼音，這時只需對新增的拼音節(jié)點與前面的拼音節(jié)點可能產(chǎn)生的所有字詞候選節(jié)點進行累積概率計算，插入到狀態(tài)空間模型中，對于前面已插入的節(jié)點無需任何處理。對于刪除操作，則更加方便，只需直接刪除與拼音節(jié)點相關(guān)的候選字詞節(jié)點即可。而當?shù)竭_用戶輸入邊界，可以依賴右指針域指向尾節(jié)點的候選字詞節(jié)點累積概率最大者的父指針方便的回溯找到最優(yōu)語句?；谝陨系目蚣鼙疚膶崿F(xiàn)了一個基本的拼音整句輸入法，

6、利用網(wǎng)絡(luò)上公布的有限資源，即切分好的1998年1月份《人民日報》作為統(tǒng)計語言模型的訓練文本，采用線性插值平滑方法，測試數(shù)據(jù)取自自然語言處理平臺上的文本分類語料庫，領(lǐng)域涉及藝術(shù)、文學、教育、哲學、通訊、航空、能源、電子、醫(yī)藥、農(nóng)業(yè)等，其整句的平均字轉(zhuǎn)換正確率達到83.81％。為進一步提高轉(zhuǎn)換的正確率，在統(tǒng)計中融入了語言知識，例如長詞優(yōu)先原則、部分語法規(guī)則等，平均字轉(zhuǎn)換正確率提高到85.42％。 利用狀態(tài)空間模型解決了拼音串切分歧義

7、問題。拼音串如果不含分隔符號，則有可能存在歧義，采用一般的切分算法只能保留一種切分結(jié)果，而利用狀態(tài)空間模型，可以將所有歧義組合均保留下來，參與整句拼音轉(zhuǎn)換的競爭，得到全局最優(yōu)解，而不會因為切分錯誤較早的將正確答案排除在外。為避免多次構(gòu)造狀態(tài)空間模型，進一步提出基于音素的整句實現(xiàn)方法，將音節(jié)切分融入整句轉(zhuǎn)換之中，仍然使用狀態(tài)空間模型，只不過每次插入的是一個音素，而不是切分好的音節(jié)，對插入的音素節(jié)點，往前搜索，直接將該音素與前面已經(jīng)輸入的音

8、素能組合形成的所有拼音串對應(yīng)的候選字詞插入狀態(tài)空間，參與整句轉(zhuǎn)換，通過構(gòu)造一次狀態(tài)空間模型得到全局最優(yōu)解。 最后還設(shè)計了本輸入法和微軟拼音輸入法的測試程序，對二者的整句功能進行測試對比，不斷查找轉(zhuǎn)換錯誤的原因，對本輸入法進行改進。 本文的主要工作： (1)在沒有任何原始積累的條件下，利用有限的資源構(gòu)造了統(tǒng)計語言模型； (2)在實現(xiàn)拼音字詞輸入法基礎(chǔ)上，利用狀態(tài)空間模型實現(xiàn)了整句輸入功能，其轉(zhuǎn)換正確率已基本