問句相似度計算和候選答案句抽取相關(guān)技術(shù)研究.pdf

1、問答是自然語言處理和信息檢索領(lǐng)域的一個重要研究分支，它融合了多種自然語言處理和信息檢索的相關(guān)技術(shù)，是比搜索引擎更人性化的向人們提供所需信息的一種手段。受社會的不斷進步，網(wǎng)絡(luò)的不斷發(fā)展，信息的急速爆炸的影響，問答系統(tǒng)將發(fā)揮越來越重要的作用。在線客服系統(tǒng)，是問答技術(shù)的一種重要表現(xiàn)形式。通過融合FAQ系統(tǒng)、自動問答系統(tǒng)、交互式系統(tǒng)，結(jié)合客服人員的輔助向用戶提供所需服務(wù)。近年來，因其廣闊的市場價值及應(yīng)用前景，受到人們廣泛的關(guān)注。
　　本文

2、主要研究面向在線客服系統(tǒng)的兩項關(guān)鍵技術(shù)：FAQ模塊中的問句相似度計算和自動問答模塊中的候選答案句抽取。
　　FAQ系統(tǒng)是早期問答系統(tǒng)的一種應(yīng)用形式，現(xiàn)在在線客服系統(tǒng)中多處于一種輔助的角色，同時也是提高客服系統(tǒng)性能的一種重要手段。FAQ的數(shù)據(jù)通常是一些問答對的集合，問句相似度的計算是FAQ系統(tǒng)能否準(zhǔn)確理解用戶問題，并做出正確回答的關(guān)鍵所在。本文采用依存句法分析和詞義相似度計算相結(jié)合的方式，通過分析句子中關(guān)鍵句法成分的匹配度配合詞義相

3、似度，計算問句間的相似度。實驗表明該方法取得了較好的效果，更適合于在線客服系統(tǒng)。
　　對于候選答案句的提取我們采用了兩種方法：基于樹核的方法和基于支持向量機SVM的方法。前者利用句法分析技術(shù)分析句子的依存結(jié)構(gòu)，通過依存關(guān)系樹和依存短語樹的匹配度計算問句和候選句的相似度，作為提取候選答案句的依據(jù)；不同于基于樹核方法只使用句法分析結(jié)果，后者通過綜合分析提取問句和候選句間的詞、詞性、詞義、句法、疑問詞等特征，訓(xùn)練SVM模型，通過模型提取