基于向量空間模型的文本分類算法研究.pdf

1、隨著網(wǎng)絡(luò)信息的迅速發(fā)展，如何在海量的文本信息資源中快捷、準(zhǔn)確的獲取有用信息已成為信息處理技術(shù)的關(guān)鍵。文本分類技術(shù)作為處理和組織大規(guī)模數(shù)據(jù)的核心技術(shù)，可以在很大程度上解決信息分類混亂問題，并更加準(zhǔn)確高效地實現(xiàn)信息定位和信息分流。目前，文本分類技術(shù)在信息檢索、網(wǎng)頁去重、自動問答等領(lǐng)域都起到了不可或缺的作用，并迅速成為相關(guān)領(lǐng)域的研究熱點。以向量空間模型(VSM)為代表的基于數(shù)據(jù)統(tǒng)計的文本相似性算法因其具有實現(xiàn)簡單、計算高效等特點而得到了廣泛的

2、應(yīng)用，但隨著網(wǎng)絡(luò)技術(shù)的迅速發(fā)展和文本信息資源數(shù)量的急速增加，文本種類、文本復(fù)雜度也較之前有了很大的改變，進(jìn)而導(dǎo)致傳統(tǒng)的VSM算法在文本分類過程中的缺陷也日漸凸顯。
　　本文首先結(jié)合知網(wǎng)語義知識詞典(HowNet)和隱形語義索引(LSI)在文本分類中的應(yīng)用，深入比對并分析了傳統(tǒng)VSM算法在分類過程中的缺陷。由于VSM算法是基于詞形建立向量空間模型，沒有考察特征詞條間的語義信息，忽略了相同語義下詞形的多樣性、不確定性，從而導(dǎo)致文本分類

3、精度不夠。另外，針對文本庫中海量詞條建立向量空間也使得該向量空間維度過大，進(jìn)而導(dǎo)致文本分類效率較低。為此，本論文借助HowNet(知網(wǎng))中的語義層次樹，依據(jù)語義層次樹中的上下位關(guān)系對VSM中的特征向量進(jìn)行語義擴展，將每一個特征詞條擴展為一系列與之具有語義相關(guān)性的特征詞條集合，并賦予相應(yīng)權(quán)重。另外，根據(jù)HowNet中的詞匯相似度公式為具有同義關(guān)系的詞條建立同義詞集合，并引入“標(biāo)志詞”(flag word)的概念，以“標(biāo)志詞”來取代集合內(nèi)對

4、應(yīng)詞條。語義擴展和同義詞集合建立兩個階段實現(xiàn)了VSM特征詞條的語義重構(gòu)，對重構(gòu)后的特征向量進(jìn)行VSM相似度計算具有更高的計算精度。在實驗過程中，針對傳統(tǒng)VSM在文本分類過程中的缺陷，本文為分屬于不同領(lǐng)域的大量文本數(shù)據(jù)建立了相關(guān)數(shù)據(jù)集，并通過文本分類實驗對比得出改進(jìn)算法與傳統(tǒng)VSM在召回率、精確率等索引性能上的差異。實驗結(jié)果表明，較傳統(tǒng)VSM算法，改進(jìn)算法在文本分類精度及文本分類效率上都有一定程度的提高。最后本文結(jié)合改進(jìn)算法在特征詞條的消