基于主題和態(tài)度分類的文本過濾系統.pdf

1、近年來，隨著互聯網的發(fā)展，人們可以獲取的信息以指數的速度增長。一方面，為了便于管理如此龐大的信息，文本分類技術日益引起人們的關注。另一方面，對于特定的用戶而言，所需要的信息往往只占其中極小的一部分，因此從大量的文本數據流中尋找滿足特定用戶需求的文本的文本過濾技術顯得猶為重要。 本文首先研究了主題文本分類中的各項關鍵技術，在文本表示方面，采用向量空間模型來表示文本，以詞匯作為向量空間模型的特征項，然后介紹了7種不同的特種選擇的算法

2、，包括文檔頻率、互信息量、x2一統計量、詞匯的熵、KL距離、信息增益、優(yōu)勢比，接著介紹了機器學習中比較常見的幾種分類算法：中心向量分類器、K近鄰算法、樸素貝葉斯分類器、AdaBoost算法、支持向量機算法。在中英文語料上的實驗結果表明特征選擇算法中，信息增益、x2一統計量有著相對較好的性能。在20-newsgroups數據集上，采用SVM算法，選用全部特征項，0-1權重，5-fold交叉驗證，宏平均和微平均分別達到89．2％和89．4％

3、。 其次，在態(tài)度文本分類中，我們研究了詞的傾向性分析和篇章態(tài)度分類。在中文詞的傾向性判斷方面，我們提出了將知網的語義相似度和語義相關場計算功能應用到對于詞匯進行語義傾向性判別，最好的性能達到了87％的準確率。在篇章態(tài)度分類方面，使用傾向性詞表的無監(jiān)督分類在中文和英文語料上都低于60％的準確率，而采用支持向量機算法的監(jiān)督學習的方法在中文和英文語料上則都達到了86．5％。 最后，介紹了一個基于主題文本分類和態(tài)度文本分類技術的