基于騰訊問問平臺的問句分類子系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，計算機可讀的文本信息也越來越多。人們期望迅速、準(zhǔn)確獲取信息的需求對信息檢索在查詢處理和答案處理兩個方面提出了新的挑戰(zhàn)。問題回答作為自然語言處理領(lǐng)域中的一個相當(dāng)活躍的分支，所研究的內(nèi)容就是理解用戶用自然語言提出的需求，進(jìn)而在大規(guī)模的信息中自動地給出滿足用戶特定需求的準(zhǔn)確答案。問句分類作為一個新的研究領(lǐng)域和問題回答系統(tǒng)的研究是相輔相成的，是問題回答系統(tǒng)的一個重要模塊。問題回答系統(tǒng)的首要任務(wù)就是需要理解用戶的需求。對系統(tǒng)而言

2、，為了能夠正確地回答問題，知道一個問題尋找什么樣的答案是非常重要的。問題分類為問題回答系統(tǒng)理解“用戶尋找什么”提供了重要信息和解決方案。
　　面向互聯(lián)網(wǎng)的中文問題分類系統(tǒng)，主要由語料構(gòu)建、特征選擇、權(quán)值計算和分類器等部分組成。在類別多，層次多，而且沒有標(biāo)準(zhǔn)的訓(xùn)練與測試語料的情況下，如何保證較高的分類準(zhǔn)確率，是整個系統(tǒng)的關(guān)鍵所在。
　　本文根據(jù)互聯(lián)網(wǎng)的實際需求，設(shè)計了一個針對互聯(lián)網(wǎng)應(yīng)用的問題分類系統(tǒng)。有如下幾項主要工作：

3、>　　首先，分析了用戶興趣和需求，確定分類體系，使該分類體系能夠滿足用戶的分類需求；然后，在該分類體系的基礎(chǔ)上，構(gòu)建了該體系的訓(xùn)練與測試語料，本文采用基于密度的聚類算法去除噪聲，使用OverSample和UnderSmaple方法平衡語料。并將部分樣本用作測試；使用向量空間模型來表示問題，并通過Hownet等語義資源，計算句子之間的相似度；引入領(lǐng)域辭典；在分類方法上，對人工規(guī)則、機器學(xué)習(xí)規(guī)則、統(tǒng)計方法等多種方法進(jìn)行分析和比較，將這幾種方