基于轉(zhuǎn)換表及上下文環(huán)境的漢語簡繁文本雙向翻譯.pdf

1、當(dāng)前國際上使用的漢字包括簡體字和繁體字兩種形式，大陸和新加坡使用簡體字，臺灣、香港、澳門和部分海外華人使用繁體字。隨著華人圈的交流日漸頻繁，這種漢字的差異給交流帶來了不少障礙?，F(xiàn)有的簡繁轉(zhuǎn)換技術(shù)在處理簡繁一對多轉(zhuǎn)換方面效果不好，為了解決這一問題，作者提出了基于轉(zhuǎn)換表和上下文的漢語簡繁文本雙向翻譯方法。作者之前的研究工作在簡繁評測中取得了95.6％的轉(zhuǎn)換準(zhǔn)確率，在此基礎(chǔ)上將更深入研究一對多簡體字轉(zhuǎn)繁體字的轉(zhuǎn)換消歧問題。
　　一對多問

2、題可以看成是一個(gè)分類問題，本文提出在簡繁轉(zhuǎn)換的一對多問題上使用規(guī)則加組合統(tǒng)計(jì)模型來解決，所組合的統(tǒng)計(jì)模型為SVM（支持向量機(jī)）、最大熵模型和貝葉斯模型。為了優(yōu)化分類效果，作者提出了一種新的文本特征選擇方法ADMMR，該方法的特征選擇效果和期望交叉熵，卡方檢驗(yàn)這兩種特征選擇方法相當(dāng)，且經(jīng)實(shí)驗(yàn)表明能夠很好地表示文本，在使用同樣分類模型的前提下ADMMR比信息增益方法的分類性能要好4%以上；同時(shí)提出最大熵模型的特征值使用tf-idf，而不使用

3、0-1值，經(jīng)過實(shí)驗(yàn)表明特征值使用tf-idf可以比使用0-1值的分類性能好2%；作者提出使用ADMMR、期望交叉熵和卡方檢驗(yàn)作為文本的特征選擇方法，使用tf-idf來量化每一個(gè)特征，再用SVM和最大熵模型學(xué)習(xí)訓(xùn)練數(shù)據(jù)，這樣將得到六個(gè)分類模型，再使用貝葉斯模型學(xué)習(xí)訓(xùn)練數(shù)據(jù)得到第七個(gè)分類模型；前六個(gè)模型進(jìn)行投票選擇，獲得票數(shù)最多的那個(gè)類別作為分類結(jié)果，如果得票最多的類有2個(gè)或2個(gè)以上則使用貝葉斯模型輔助判別。實(shí)驗(yàn)結(jié)果表明組合模型比單獨(dú)使用S