面向大規(guī)模數(shù)據(jù)的統(tǒng)計(jì)機(jī)器翻譯語(yǔ)言模型研究.pdf

1、互聯(lián)網(wǎng)技術(shù)的發(fā)展，使得獲取大規(guī)模雙語(yǔ)平行數(shù)據(jù)成為可能，從而大大地推動(dòng)了基于統(tǒng)計(jì)方法的機(jī)器翻譯的研究和應(yīng)用。近幾年，隨著基于深層神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)方法的快速發(fā)展，機(jī)器翻譯及其他多種自然語(yǔ)言處理任務(wù)更是發(fā)展迅猛。然而，自然語(yǔ)言處理任務(wù)中，與圖像和語(yǔ)音均屬于較為底層的原始輸入信號(hào)不同，語(yǔ)言(詞、句子、篇章等文本信息)屬于人類認(rèn)知過(guò)程中產(chǎn)生的高層認(rèn)知抽象實(shí)體，在應(yīng)用神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)方法時(shí)，表示成為最大的問(wèn)題之一。文本信息的向量表示成為將深度學(xué)

2、習(xí)方法應(yīng)用于自然語(yǔ)言處理任務(wù)的關(guān)鍵技術(shù)之一。本課題以詞向量表示切入點(diǎn)，研究基于深度神經(jīng)網(wǎng)絡(luò)的語(yǔ)言模型建模方法，并將神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型作為新的特征融入到統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)。
　　針對(duì)語(yǔ)言模型建模問(wèn)題，課題首先介紹了傳統(tǒng)的統(tǒng)計(jì)語(yǔ)言模型原理，然后介紹了神經(jīng)網(wǎng)絡(luò)方法下的連續(xù)的詞向量表示方法與傳統(tǒng)的表示方法，以及連續(xù)的詞向量的生成理論，最后詳細(xì)介紹了神經(jīng)網(wǎng)路語(yǔ)言模型的實(shí)現(xiàn)步驟。以傳統(tǒng)語(yǔ)言模型為基線方法，采用Moses作為統(tǒng)計(jì)機(jī)器翻譯實(shí)驗(yàn)系統(tǒng)，分