基于文本分類的問答系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、自動(dòng)文本分類技術(shù)是自然語言處理關(guān)鍵技術(shù)之一，簡(jiǎn)單的說文本分類技術(shù)是根據(jù)文本的不同特征，將具有相同特征的文本劃分到同一個(gè)類別當(dāng)中。自動(dòng)文本分類是在人工基礎(chǔ)上演變過來的，傳統(tǒng)的人工分類的技術(shù)遠(yuǎn)遠(yuǎn)不能滿足海量的文本數(shù)據(jù)的處理工作。自動(dòng)文本分類的技術(shù)由于其精準(zhǔn)和高效性，又節(jié)約大量的人力和物力，已經(jīng)被廣泛的運(yùn)用到垃圾短信過濾，新聞分類，數(shù)字圖書館分類，對(duì)話問答系統(tǒng)等等領(lǐng)域。
　　自動(dòng)問答系統(tǒng)是一種新的搜索引擎，它融合了文本分類和信息檢索等相

2、關(guān)技術(shù)。自動(dòng)問答系統(tǒng)允許用戶以自然語言的方式輸入問題，然后經(jīng)過系統(tǒng)對(duì)問題的理解，回答給用戶準(zhǔn)確而又簡(jiǎn)練的答案。問答系統(tǒng)主要由三個(gè)部分組成，問題理解、信息檢索、答案獲取等。而其中問題理解是最核心的部分，問題理解包括文本分類、信息抽取等關(guān)鍵技術(shù)。圍繞上述內(nèi)容，本文主要完成了以下兩個(gè)方面的工作。
　　第一，針對(duì)最近鄰（KNN）文本分類時(shí)間效率低的缺點(diǎn)，提出了一種結(jié)合文本信息量和kmeans的KNN文本裁剪算法。考慮到訓(xùn)練文本中存在類別相

3、關(guān)性弱的文本，先計(jì)算各類別每條文本包含的信息量并排序；對(duì)向量空間模型利用kmeans聚類刪除噪聲文本；再結(jié)合文本的重要性在各類別中篩選出等量的代表文本構(gòu)建新的訓(xùn)練樣本空間；最后在新的樣本空間上利用KNN算法進(jìn)行分類。實(shí)驗(yàn)證明該算法在分類效率上得到了明顯的提高。
　　第二，結(jié)合文本分類的相關(guān)技術(shù)構(gòu)建了一個(gè)問答系統(tǒng)，其中分類算法使用到最近鄰分類、卷積神經(jīng)網(wǎng)絡(luò)分類、循環(huán)神經(jīng)網(wǎng)絡(luò)分類。系統(tǒng)的核心模塊有文本過濾模塊、領(lǐng)域分類模塊、信息抽取模