融合文檔信息的機(jī)器翻譯自動(dòng)評價(jià)研究.pdf

1、碩士學(xué)位論文論文題目融合文檔信息的機(jī)器翻譯自動(dòng)評價(jià)研究研究生姓名李良友指導(dǎo)教師姓名周國棟專業(yè)名稱計(jì)算機(jī)軟件與理論研究方向自然語言處理論文提交日期2013年6月融合文檔信息的機(jī)器翻譯自動(dòng)評價(jià)研究摘要融融融合合合文文文檔檔檔信信信息息息的的的機(jī)機(jī)機(jī)器器器翻翻翻譯譯譯自自自動(dòng)動(dòng)動(dòng)評評評價(jià)價(jià)價(jià)研研研究究究摘摘摘要要要近年來，機(jī)器翻譯技術(shù)的快速發(fā)展從很大程度上得益于自動(dòng)評價(jià)方法的研究，但是它同樣也受到了評價(jià)方法性能的制約。在分析已有方法優(yōu)缺點(diǎn)的基

2、礎(chǔ)上，本文提出了一種新的評價(jià)方法，并且研究了文檔信息在評價(jià)方法中的應(yīng)用。首先，本文提出了基于短語的評價(jià)方法—PBE。該方法以語言學(xué)短語為基本評價(jià)單位，評價(jià)過程分為三個(gè)模塊：短語權(quán)重分配、短語相似度計(jì)算以及尋找最大相似度匹配。本文分別采用了ngram、tf.idf和Cvalue三種權(quán)重計(jì)算方法，提出基于Wd的短語相似度計(jì)算公式，并使用KM算法尋找具有最大相似度的短語匹配。其次，本文研究了使用文檔信息提高文檔級評價(jià)的效果。本文使用的第一種文

3、檔信息是文檔的主題模型。使用主流的主題模型工具LDA得到每個(gè)文檔及其詞的主題分布之后，本文計(jì)算出短語的主題分布；然后本文采用一種通用的計(jì)算框架將短語主題分布與PBE中的權(quán)重以及相似度函數(shù)進(jìn)行融合。本文使用的第二種文檔信息是反映文檔連貫性的詞匯銜接。在已有LC評價(jià)方法的基礎(chǔ)上，本文提出了基于權(quán)重的WLC，該方法在文檔詞圖上運(yùn)行PageRank算法獲得詞匯權(quán)重。本文進(jìn)一步提出posWLC評價(jià)方法，該方法利用詞性信息使得PageRank算法在

4、分配權(quán)重時(shí)對某些詞有所偏向。最后本文將文檔的詞匯銜接評價(jià)與已有的主流方法以及PBE進(jìn)行融合，以提高它們在文檔評價(jià)上的性能。在MTC2（LDC2003T17）和MTC4（LDC2006T04）評價(jià)數(shù)據(jù)集的實(shí)驗(yàn)表明，本文提出的PBE與人工評價(jià)的Spearman相關(guān)系數(shù)顯著地高于目前最主流的方法BLEU。融合文檔主題信息后，PBE評價(jià)性能在MTC2和MTC4的一些系統(tǒng)上有了進(jìn)一步提高。詞匯銜接部分的實(shí)驗(yàn)也表明本文提出的WLC和posWLC在文