面向漢英專(zhuān)利文獻(xiàn)的神經(jīng)網(wǎng)絡(luò)翻譯模型的集外詞翻譯研究.pdf

1、機(jī)器翻譯(Machine Translation，MT)的目的是為源語(yǔ)言找到一個(gè)意思最為相近的目標(biāo)語(yǔ)言。從本質(zhì)上來(lái)看，機(jī)器翻譯完成的是一個(gè)序列到序列的任務(wù)。近年來(lái)隨著深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network，DNN)在語(yǔ)音識(shí)別和圖像處理等方面取得突破性進(jìn)展，研究人員開(kāi)始著手使用深度神經(jīng)網(wǎng)絡(luò)處理符號(hào)變量方面的問(wèn)題，例如自然語(yǔ)言處理領(lǐng)域的機(jī)器翻譯任務(wù)。神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯(Neural Machine Translation，NMT

2、)包含編碼器和解碼器兩個(gè)神經(jīng)網(wǎng)絡(luò)，編碼器把源語(yǔ)言轉(zhuǎn)化成一個(gè)向量表示，解碼器根據(jù)源語(yǔ)言的向量表示加上目標(biāo)語(yǔ)言的歷史信息生成目標(biāo)語(yǔ)言的詞序列。為了控制計(jì)算復(fù)雜度，大多數(shù)的NMT系統(tǒng)會(huì)限制源語(yǔ)言和目標(biāo)語(yǔ)言的詞典大小，一般設(shè)置為三萬(wàn)詞到八萬(wàn)詞之間。對(duì)于不在詞典中的詞，也就是集外詞，使用符號(hào)“UNK”來(lái)代替。集外詞帶來(lái)幾個(gè)問(wèn)題，一個(gè)是在測(cè)試過(guò)程中，模型不能夠生成合適的翻譯結(jié)果;另一個(gè)是集外詞導(dǎo)致源語(yǔ)言句子語(yǔ)義無(wú)法正確表示，加重翻譯結(jié)果的歧義現(xiàn)象;

3、第三個(gè)是訓(xùn)練語(yǔ)料中源語(yǔ)言和目標(biāo)語(yǔ)言句子結(jié)構(gòu)被嚴(yán)重破壞，神經(jīng)網(wǎng)絡(luò)參數(shù)質(zhì)量不高。在專(zhuān)利文獻(xiàn)語(yǔ)料中存在大量的低頻詞，導(dǎo)致這幾個(gè)問(wèn)題更為嚴(yán)重。
　　本論文以專(zhuān)利文獻(xiàn)的集外詞翻譯為切入點(diǎn)，以中英神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯為主要研究方向，重點(diǎn)研究并提出了一種改善集外詞翻譯問(wèn)題的方法，從而提高神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯的效果。主要研究成果如下:
　　(1)引入統(tǒng)計(jì)機(jī)器翻譯中的對(duì)齊信息，以外部信息的形式加入語(yǔ)料庫(kù)詞典，當(dāng)出現(xiàn)集外詞時(shí)根據(jù)神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯中的注意