基于Web的英漢雙向未登錄詞翻譯方法研究.pdf

1、隨著信息技術(shù)的發(fā)展，層出不窮的新詞、術(shù)語不斷涌現(xiàn)，基于詞典的翻譯已越來越不能滿足跨語言信息檢索性能的要求，未登錄詞(Out Of Vocabulary，OOV)翻譯已成為跨語言信息檢索中極其重要且充滿挑戰(zhàn)的問題。近年來，基于Web的未登錄詞翻譯研究發(fā)展迅速，然而其中仍存在很多關(guān)鍵問題有待進一步分析和解決。
　　針對面向英漢雙向的未登錄詞翻譯，本文提出一種基于Web挖掘和Ranking-SVM排序的統(tǒng)計未登錄詞翻譯模型。其中，針對漢

2、語分詞的難點，建立基于簡化PAT-Tree抽取計算的無詞典翻譯候選抽取模式；針對翻譯對評估手段的難點，提出基于有監(jiān)督學(xué)習(xí)Ranking-SVM的翻譯對準(zhǔn)確度排序模式。這種組合模型在漢語未登錄詞識別方面不僅借鑒PAT-Tree方法，對詞串成詞可信度計算作以相當(dāng)程度的簡化。更重要的是，在翻譯對的相關(guān)度衡量方面，引入基于支持向量機與Ranking-SVM的有監(jiān)督學(xué)習(xí)方法。該方式能更好地融合翻譯候選詞的各個特征，對于所抽取的短語或詞串與原有未登

3、錄詞之間的相關(guān)程度，給出較為準(zhǔn)確的評估。
　　本文提出相對客觀的評價標(biāo)準(zhǔn)。比如，為了衡量翻譯候選詞單個特征的性能，使用CoNLL-2003語料進行訓(xùn)練和測試；為了衡量漢譯英的整體性能，本文又使用SIGHAN2008中由北京大學(xué)所提供的用于命名實體識別(Named EntityRecognition，NER)評測任務(wù)的訓(xùn)練語料，這使得我們的實驗結(jié)果相對公正客觀，具有一定的可比性。本文針對目前基于搜索結(jié)果未登錄詞翻譯模型研究的特征集合