面向問(wèn)答系統(tǒng)的問(wèn)題分類與答案抽取研究.pdf

1、隨著人工智能、信息檢索以及自然語(yǔ)言處理等技術(shù)地發(fā)展，問(wèn)答系統(tǒng)的研究也取得了長(zhǎng)足地進(jìn)步。特別是TREC等會(huì)議舉辦的問(wèn)答系統(tǒng)評(píng)測(cè)任務(wù)又進(jìn)一步推動(dòng)了問(wèn)答系統(tǒng)的發(fā)展。相比英文而言，中文領(lǐng)域并沒(méi)有流行的問(wèn)答系統(tǒng)評(píng)測(cè)，相關(guān)的數(shù)據(jù)集也十分匱乏，導(dǎo)致目前中文問(wèn)答系統(tǒng)的研究相對(duì)落后。本文使用基于在線搜索引擎的方式來(lái)實(shí)現(xiàn)答案檢索，主要研究工作為面向中文問(wèn)答系統(tǒng)的問(wèn)題分析與答案抽取。
　　在問(wèn)題分析部分，本文首先提出了一種基于詞組合及問(wèn)題類別的停用詞選

2、取方法，在選取停用詞時(shí)先從由n個(gè)詞組合成的短語(yǔ)中提取，并且在提取過(guò)程中考慮問(wèn)題類別情況，通過(guò)不斷減小n的值來(lái)完成迭代。在本文的數(shù)據(jù)集上，這一方法取得了較好的效果。
　　接著，針對(duì)本文的問(wèn)題，基于TF-IDF的思想提出了一種問(wèn)句分類特征選取方法TFC-ICF。該方法綜合考慮了一個(gè)詞語(yǔ)標(biāo)識(shí)某個(gè)類別的能力及其在各個(gè)類別中的分布情況，從而可以選取到質(zhì)量更高的分類特征。本文使用基于SVM模型的分類器來(lái)進(jìn)行自動(dòng)分類，使用TFC-ICF方法選取

3、的特征詞在問(wèn)題分類上的準(zhǔn)確率可以達(dá)到80.45％。為了進(jìn)一步提高問(wèn)題分類的性能，本文以TFC-ICF方法為基準(zhǔn)，提出了人工特征選取方法、基于關(guān)鍵詞擴(kuò)展的特征選取和選取語(yǔ)法信息的特征選取，并且在后兩種方法中實(shí)驗(yàn)了多種不同的特征使用方法。通過(guò)與TFC-ICF方法結(jié)合使用，上述三種方法在問(wèn)題分類上的最高準(zhǔn)確率分別可以達(dá)到86.01％、85.14％和82.13％。
　　在答案抽取部分，本文首先討論了如何使用基于向量空間模型的句子相似度計(jì)算