面向日文輸入法的混合語(yǔ)言模型的改進(jìn)與實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)的不斷發(fā)展,計(jì)算機(jī)已經(jīng)滲透到生活和工作的方方面面,同時(shí),在計(jì)算機(jī)的使用過(guò)程中,針對(duì)計(jì)算機(jī)的信息輸入是人機(jī)交互中的一個(gè)重要環(huán)節(jié)。因此,人們對(duì)于一個(gè)良好的智能輸入法的需求也越來(lái)越強(qiáng)烈,輸入法的重要性也慢慢的體現(xiàn)出來(lái)。
　　隨著自然語(yǔ)言處理技術(shù)的發(fā)展,傳統(tǒng)的輸入法已從最開(kāi)始的字、詞模型發(fā)展到現(xiàn)在的基于語(yǔ)言模型的智能輸入法。使用基于詞條粒度的語(yǔ)言模型來(lái)提高整句變換的轉(zhuǎn)換精度,使得音字轉(zhuǎn)換準(zhǔn)確率有了很大的提高。然而完整的語(yǔ)言模型往

2、往過(guò)大,輸入法無(wú)法使用,因此對(duì)語(yǔ)言模型進(jìn)行壓縮操作則顯得十分必要。本文沒(méi)有使用常規(guī)輸入法模型中慣用的剪枝方法,即保留部分核心詞條的語(yǔ)言模型的方案?？紤]到日文語(yǔ)言規(guī)則性較強(qiáng)的特點(diǎn),筆者采用對(duì)詞條進(jìn)行聚類的方法對(duì)語(yǔ)言模型進(jìn)行壓縮,用詞類之間的關(guān)系來(lái)替代詞條之間的關(guān)系,大大增加了語(yǔ)料利用率,減少了語(yǔ)言模型中的稀疏情況。
　　同時(shí),為了減少對(duì)語(yǔ)言模型進(jìn)行聚類壓縮過(guò)程中造成的損失,盡可能地減少壓縮帶來(lái)的信息丟失,筆者對(duì)僅使用詞性信息進(jìn)行聚類

3、的方法進(jìn)行了改進(jìn),使用詞條之間的距離特征進(jìn)行聚類,盡可能的降低同一類中的詞條重碼率,提出了一種基于詞條之間的編輯距離的k-mean聚類算法。除此之外,還考慮到每個(gè)類別中詞條詞頻的數(shù)量級(jí),避免擁有不同數(shù)量級(jí)的詞頻之間因類別合并而造成詞頻信息的大量損失。另外,對(duì)于無(wú)法避免的壓縮造成的模型信息的丟失,使用Bigram的語(yǔ)言模型進(jìn)行補(bǔ)充,同時(shí)針對(duì)讀音模型的準(zhǔn)確率和覆蓋率做了相應(yīng)的改進(jìn)和提高。
　　最后,建立一種可擴(kuò)展的基于混合語(yǔ)言的模型,