農(nóng)業(yè)問答系統(tǒng)中問題分類和相似度計算的研究.pdf

1、目前，互聯(lián)網(wǎng)上已經(jīng)積累了龐大的農(nóng)業(yè)數(shù)據(jù)信息，如何把這些農(nóng)業(yè)大數(shù)據(jù)信息進行有效的利用成為現(xiàn)在急需解決的問題。農(nóng)業(yè)問答系統(tǒng)是一種可以主動將農(nóng)業(yè)用戶遇到的問題進行分析理解，然后在系統(tǒng)語料庫中尋找相近的問題，最后返回農(nóng)業(yè)用戶需要的答案。與現(xiàn)有的在因特網(wǎng)上直接搜索信息的方式相比，問答系統(tǒng)更適合利用農(nóng)業(yè)大數(shù)據(jù)幫助農(nóng)民獲得農(nóng)作物生產(chǎn)方面的知識。論文主要針對互聯(lián)網(wǎng)上農(nóng)業(yè)社區(qū)網(wǎng)站的問答數(shù)據(jù)，對問答系統(tǒng)中問題分類和相似度計算進行了如下的一些研究:
　

2、　(1)在問題分類方面，論文主要分析了分類過程中現(xiàn)有的特征選擇方法存在的一些弊端，以及其在面對不均衡數(shù)據(jù)時的缺陷，再結(jié)合農(nóng)業(yè)領(lǐng)域問句的特點，提出了一種基于類間概率分布的互信息特征選擇方法，通過計算每個詞在各個類中的頻率既可以解決類間數(shù)據(jù)分布不均衡的問題，還可以降低那些出現(xiàn)頻次低的詞的權(quán)重。論文提到三種類間概率分布，分別為方差、極差，最大值與次大值的差，通過設(shè)置對比實驗選出三種類間詞頻分布中最合適的分布，然后將之與互信息結(jié)合作為新的特征選

3、擇方法。
　　(2)在相似度計算方面，論文主要根據(jù)常用的一些算法存在的問題，提出了一種以word2vec-LSI模型為基礎(chǔ)的相似度計算方法。該方法在相似度計算之前先將文本中的特征詞進行聚類，并計算每個特征詞類的中心詞，然后利用計算出的中心詞將原文本轉(zhuǎn)換成詞-問題矩陣，矩陣中的元素為對應(yīng)位置的中心詞的TF-IDF值，最后將問題中的詞轉(zhuǎn)換成向量并疊加求均值后與詞-文檔矩陣首尾相接作為新的文本表示。在構(gòu)建好新的文本表示之后，使用LSI模