基于互聯(lián)網(wǎng)的自動(dòng)問(wèn)答答案抽取的研究.pdf

1、基于互聯(lián)網(wǎng)的自動(dòng)問(wèn)答基于搜索引擎返回的結(jié)果回答自然語(yǔ)言問(wèn)題，可充分利用搜索引擎高質(zhì)量的結(jié)果，省去存儲(chǔ)大量文檔的必要。答案抽取是從檢索得到的文本中生成答案，包含候選生成和候選排序。由于搜索片段具有噪音多、句子結(jié)構(gòu)不完整等特點(diǎn)，使得基于搜索結(jié)果的答案抽取和正規(guī)文本上的答案抽取有很大不同，傳統(tǒng)方法在該任務(wù)上受到影響，性能下降。本博士論文討論如何針對(duì)搜索結(jié)果的問(wèn)題優(yōu)化答案抽取，包括以下課題：
　　?針對(duì)一些搜索結(jié)果中正確答案出現(xiàn)的特征不明

2、顯的問(wèn)題，本文提出了基于段落圖模型的候選生成方法，某個(gè)段落中的候選生成可以接收到來(lái)自其他段落中的信息、并幫助提高當(dāng)前段落中生成候選的結(jié)果。實(shí)驗(yàn)證明，該模型可有效提高候選生成的準(zhǔn)確率和召回率。
　　針對(duì)搜索結(jié)果中噪音多、句法結(jié)構(gòu)不完整的問(wèn)題，本文提出了剪枝排序融合整合不同候選生成方法，并基于排序?qū)W習(xí)進(jìn)行候選重排序。該框架可以有效減輕搜索結(jié)果中的噪音的影響。實(shí)驗(yàn)證明，本文中的排序方法在基于搜索結(jié)果中的候選排序任務(wù)上超過(guò)了目前最好的算法

3、。
　　針對(duì)搜索結(jié)果表達(dá)和原問(wèn)題之間有較大差異、在計(jì)算相似度時(shí)可擴(kuò)展性差的問(wèn)題，本文提出了兩種基于詞表示的問(wèn)題和候選答案相似度的計(jì)算方法，包括搜索結(jié)果和問(wèn)題之間的文本相似度和候選答案和答案類型之間的語(yǔ)義相似度。實(shí)驗(yàn)證明，使用本文提出的兩種基于詞表示計(jì)算的相似度可以有效提高候選排序的結(jié)果。
　　針對(duì)搜索結(jié)果和問(wèn)題間存在表述差異這一問(wèn)題，本文探討復(fù)述生成的應(yīng)用。本文提出了基于聯(lián)合學(xué)習(xí)的對(duì)偶機(jī)器翻譯系統(tǒng)生成復(fù)述的方法以及復(fù)述生成的

4、評(píng)價(jià)指標(biāo)。使用該方法生成問(wèn)題的復(fù)述表示，可增加復(fù)述表示的差異性，減輕計(jì)算相似度時(shí)不同表示之間差異帶來(lái)的影響。實(shí)驗(yàn)證明，使用本文提出的復(fù)述生成方法可提高候選排序結(jié)果。
　　其中，本文使用基于段落圖模型方法進(jìn)行候選生成，然后結(jié)合其他候選生成方法、基于排序?qū)W習(xí)進(jìn)行候選排序。在此基礎(chǔ)上，使用基于詞向量、復(fù)述計(jì)算的相似度特征提高排序結(jié)果。通過(guò)本文的研究，減輕了基于搜索結(jié)果生成答案時(shí)，搜索片段的噪音等問(wèn)題對(duì)問(wèn)答結(jié)果的影響，使得基于互聯(lián)網(wǎng)的自動(dòng)