基于深度學(xué)習(xí)的中文代詞消解及其在問答系統(tǒng)中的應(yīng)用.pdf

1、自然語(yǔ)言中存在的指代和省略現(xiàn)象使得有一些話語(yǔ)獨(dú)立來看存在語(yǔ)義缺失，這給機(jī)器理解帶來了巨大的挑戰(zhàn)。如何利用上下文信息對(duì)話語(yǔ)進(jìn)行語(yǔ)義恢復(fù)是一項(xiàng)重要的研究任務(wù)。代詞消解是語(yǔ)義恢復(fù)的重要方法，目前很多方法還停留在淺層的、顯性的語(yǔ)義特征，并沒有挖掘更深層次的語(yǔ)義關(guān)聯(lián)。本文使用詞向量作為輸入，利用深度學(xué)習(xí)方法挖掘出較深層次的語(yǔ)義特征，實(shí)現(xiàn)中文代詞消解算法，并應(yīng)用到問答系統(tǒng)中。
　　首先，研究中文顯性代詞消解表述對(duì)的深層語(yǔ)義特征表示方法。之前的

2、代詞消解算法抽取表述對(duì)的顯性語(yǔ)義特征，如性別、數(shù)量，本文引入詞向量，表示代詞、候選先行語(yǔ)及上下文在語(yǔ)言學(xué)和隱含語(yǔ)義方面的特征，并與顯性語(yǔ)義特征合并，共同作為表述對(duì)特征，訓(xùn)練神經(jīng)網(wǎng)絡(luò)分類器，相比于二者單獨(dú)的使用，性能取得了顯著的提升。
　　接著，研究中文零代詞消解算法，包括零代詞識(shí)別和消解兩個(gè)子任務(wù)。本文在零代詞識(shí)別方面提出了基于循環(huán)神經(jīng)網(wǎng)絡(luò)、不依賴句法分析的算法；在消解方面沿用了顯性代詞消解的表述對(duì)模型，放棄其中的顯性語(yǔ)義特征，增

3、加更多有效的詞向量特征，如相關(guān)動(dòng)詞和賓語(yǔ)，提出了基于神經(jīng)網(wǎng)絡(luò)的零代詞消解算法；然后，通過引入長(zhǎng)短期記憶網(wǎng)絡(luò)，計(jì)算表述對(duì)的更深層語(yǔ)義特征表示，提出了基于長(zhǎng)短期記憶網(wǎng)絡(luò)的進(jìn)階消解算法。本文提出的零代詞消解算法在識(shí)別和消解子任務(wù)上超越了基線方法。
　　最后，設(shè)計(jì)實(shí)現(xiàn)了交互式問答系統(tǒng)。其中，提出了基于詞語(yǔ)共現(xiàn)模型的省略恢復(fù)算法，與代詞消解一同構(gòu)成語(yǔ)義補(bǔ)全模塊，應(yīng)用到系統(tǒng)中，利用短期歷史提問信息，從指代和省略兩個(gè)方面，對(duì)待檢索問題進(jìn)行語(yǔ)義補(bǔ)