問答系統(tǒng)中的文本信息抽取研究與應(yīng)用.pdf

1、近年來，互聯(lián)網(wǎng)的迅速發(fā)展，使得人們能夠在這個(gè)平臺(tái)上方便地保存數(shù)據(jù)、交流信息以及共享知識(shí)。但是，互聯(lián)網(wǎng)中海量的數(shù)據(jù)給用戶快速準(zhǔn)確地獲得這些所需的知識(shí)帶來了困難。針對(duì)這樣的需求，基于Web的信息檢索和信息抽取逐漸成為了重要的研究課題。當(dāng)搜索引擎的不足開始凸現(xiàn)，如何將豐富的資源合理地利用，使機(jī)器理解其中信息，成為網(wǎng)絡(luò)時(shí)代機(jī)器智能的一大熱門研究課題。在這樣的背景下，建立在信息檢索與信息抽取技術(shù)之上的問答技術(shù)領(lǐng)域蓬勃發(fā)展起來。問答系統(tǒng)以自然語(yǔ)言的

2、問題取 代關(guān)鍵詞作為輸入，允許用戶準(zhǔn)確表達(dá)自己的需求；將準(zhǔn)確的答案短句返回給用戶，節(jié)約了用戶搜索、定位答案的時(shí)間。 問答系統(tǒng)按照獲取答案的方式可以分為自動(dòng)問答系統(tǒng)和交互式問答系統(tǒng)兩種；根據(jù)系統(tǒng)所處理的問題的范圍可以分為開放領(lǐng)域問答系統(tǒng)和特定領(lǐng)域問答系統(tǒng)兩種。前者不限輸入的問題范圍，試圖為任意主題內(nèi)的任意問題尋找答案。后者只接受針對(duì)某一個(gè)特定領(lǐng)域的問題，往往有此領(lǐng)域內(nèi)的領(lǐng)域知識(shí)作為指導(dǎo)。本文針對(duì)信息抽取在問答系統(tǒng)中的應(yīng)用，

3、圍繞這兩種不同的問答系統(tǒng)展開了研究。對(duì)開放領(lǐng)域內(nèi)的問答，研究了如何加強(qiáng)對(duì)問題的語(yǔ)義分析能力、如何更有效地利用歷史數(shù)據(jù)庫(kù)以提高機(jī)器智能；對(duì)特定領(lǐng)域內(nèi)的問答，研究了如何更好利用經(jīng)驗(yàn)解決新的問題等，以提高問答系統(tǒng)的答案正確率。本文的主要研究?jī)?nèi)容和創(chuàng)新之處如下： 第一，對(duì)問題語(yǔ)義的準(zhǔn)確分析是把握用戶需求的關(guān)鍵。本文對(duì)文本中語(yǔ)義約束信息的識(shí)別展開了研究，期望對(duì)有信號(hào)詞指示的語(yǔ)義約束部分，給出正確的檢測(cè)，并對(duì)由同一信號(hào)詞指示的多種語(yǔ)義約束，

4、給出正確的區(qū)分。為此提出了一種運(yùn)用依存關(guān)系樹比對(duì)來檢測(cè)文本中多語(yǔ)義約束的方法。對(duì)每一類語(yǔ)義約束，搜集信號(hào)詞以及相應(yīng)的例句組成案例庫(kù)，并定義部分依存關(guān)系樹(PDT)核函數(shù)來計(jì)算兩個(gè)對(duì)象之間的相似度。在實(shí)際計(jì)算過程中，運(yùn)用Apriori算法，來降低計(jì)算該核函數(shù)的復(fù)雜度。 第二，不管是自動(dòng)問答系統(tǒng)還是交互式問答系統(tǒng)，都在日積月累的用戶使用中積累了大量的問答數(shù)據(jù)。為了有效地重用這些歷史數(shù)據(jù)，本文開展了從歷史問答對(duì)中抽取知識(shí)的研究，期望將

5、短文本答案的問答對(duì)蘊(yùn)含的知識(shí)自動(dòng)轉(zhuǎn)化為結(jié)構(gòu)化的知識(shí)表達(dá)，不斷積累；并使得系統(tǒng)可以憑借積累的知識(shí)庫(kù)進(jìn)行查詢檢索，并返回結(jié)果。這樣一是可以節(jié)約建造知識(shí)庫(kù)的人力，二是可以對(duì)新問題給出一個(gè)參考答案，節(jié)約交互式系統(tǒng)中用戶得到答案的時(shí)間。為此本文描述了從問答對(duì)到知識(shí)庫(kù)轉(zhuǎn)化的工作流程，將語(yǔ)義模板匹配和上述語(yǔ)義約束的識(shí)別的工作相結(jié)合，來獲取對(duì)問題句中知識(shí)的提取，并運(yùn)用以語(yǔ)義網(wǎng)絡(luò)為基礎(chǔ)的結(jié)構(gòu)來表達(dá)互相聯(lián)系互相約束的知識(shí)簇。實(shí)現(xiàn)了一個(gè)用戶交互式的原型系統(tǒng)，

6、演示了上述知識(shí)庫(kù)積累和使用的過程。 第三，在特定領(lǐng)域內(nèi)的自動(dòng)問答中，領(lǐng)域知識(shí)起到非常關(guān)鍵的作用。在一些領(lǐng)域中，經(jīng)驗(yàn)是解答新問題的最好的依據(jù)。因此，本文以植物生長(zhǎng)環(huán)境的推薦任務(wù)為應(yīng)用場(chǎng)景，對(duì)用基于案例推理的方法來重用該領(lǐng)域內(nèi)的經(jīng)驗(yàn)進(jìn)行了研究。提出了一種學(xué)習(xí)獲取修正規(guī)則的方法。運(yùn)用資源空間模型(RSM)和語(yǔ)義鏈接網(wǎng)絡(luò)(SLN)來表達(dá)和構(gòu)建案例庫(kù)，將案例之間相互聯(lián)系起來。以案例比對(duì)的方法分析案例庫(kù)，以得到修正規(guī)則；案例之間的聯(lián)系和基本