漢英詞語對齊技術(shù)研究.pdf

1、詞語對齊是跨語言自然語言處理領(lǐng)域的一個(gè)基本問題,許多基于雙語語料庫的應(yīng)用(如SBMT、EBMT、WSD、詞典編纂)都需要詞匯級別的對齊.以往詞語對齊方法對雙語詞典在對齊中的作用的研究都不夠深入.該文重點(diǎn)研究利用由多部人讀雙語詞典擴(kuò)充雙語詞典的規(guī)模來改善對齊質(zhì)量.在Ker的基于類的詞語對齊方法研究和實(shí)踐的基礎(chǔ)上,提出了一個(gè)利用大規(guī)模雙語詞典進(jìn)行漢英詞語對齊的方法.該方法利用雙詞詞典計(jì)算的詞語相似度,位置和詞性信息進(jìn)行詞語對齊,并通過對齊窗

2、口得到了多對多的詞語對應(yīng).用該方法建造的漢英詞語對齊系統(tǒng),最終在中文句子平均單詞數(shù)是24.8,英語句子的平均單詞數(shù)為34.5的650對中英語句子的測試集下,取得了準(zhǔn)確率84.0﹪下召回率62.9﹪的結(jié)果.在對齊算法上,該文在下面幾點(diǎn)上對Ker的詞語對齊算法做了改進(jìn)和創(chuàng)新:1.對Ker的算法中相對位置偏移量的計(jì)算方式做了改進(jìn),并在開始對齊前通過詞語相似度選擇對齊錨點(diǎn)來改善對齊質(zhì)量.2.提出對齊窗口的概念,通過在對齊過程中設(shè)置對齊窗口,可以