文本分類技術(shù)及其在網(wǎng)絡(luò)評論分析中的應(yīng)用.pdf

1、經(jīng)過40多年的發(fā)展，互聯(lián)網(wǎng)已經(jīng)應(yīng)用于各行各業(yè)，改變著人們的工作與生活，同時產(chǎn)生了大量的文本信息，如何從海量的信息中準(zhǔn)確地獲取所需要的信息，成為了亟需解決的問題。網(wǎng)絡(luò)購物已經(jīng)成為消費者的購物習(xí)慣，產(chǎn)生了大量的網(wǎng)絡(luò)評論，這些評論包含了重要的信息，影響著消費者的購買決定。文本分類技術(shù)應(yīng)運而生，因此，對其深入研究有很重要的意義。
　　本文主要的工作內(nèi)容如下：
　?。?）文本的特征選擇是文本降維的有效手段，是文本分類的關(guān)鍵過程，而互信

2、息是一種常用的特征選擇方法，它的不足之處在于容易選取低頻詞作為特征，影響分類的效果。本文在改進互信息的基礎(chǔ)上，結(jié)合描述系統(tǒng)不確定性的概念信息熵，提出了一種基于改進互信息和信息熵的特征選擇算法，去除了那些低頻的和與類別相關(guān)性不高的特征，并通過實驗驗證了本文提出的特征選擇算法的有效性。
　?。?）K近鄰分類方法因為有較好的分類效果，成為一種很常用的分類方法，但是在對待分類文本進行分類時，需要計算其與所有訓(xùn)練文本的相似度，計算量很大。中

3、介真值程度度量（Measure of Medium Truth Degree，MMTD）是一種定量衡量樣本空間中個體性質(zhì)的度量方法。本文提出了一種基于MMTD的網(wǎng)絡(luò)評論分類方法，通過構(gòu)建每個類別的標(biāo)準(zhǔn)模型來代替類別中的所有文本，以減少分類的計算量，對待分類的評論，先計算評論是每個類別的中介真值程度值，再決定待分類評論所屬的類別。最后，使用小米手機評論集做實驗，實驗結(jié)果表明本文提出的基于MMTD的網(wǎng)絡(luò)評論分類方法與KNN方法效果極為接近，