1329.常用文本分類算法的分析與研究

1、常用文本分類算法的分析與研究重慶大學碩士學位論文(專業(yè)學位)學生姓名：楊康指導教師：李東副教授學科類別：應用統(tǒng)計重慶大學數(shù)學與統(tǒng)計學院二O一七年五月重慶大學碩士學位論文中文摘要I摘要大數(shù)據(jù)時代到來，各領域據(jù)所積累的數(shù)據(jù)爆炸式增長，越來越多的數(shù)據(jù)價值等待著我們去挖掘，這使得數(shù)據(jù)挖掘這門技術近幾年來變得炙手可熱。由于傳統(tǒng)的數(shù)據(jù)分析方式并不能處理文本數(shù)據(jù)，文本之類的非結構化數(shù)據(jù)中的價值并沒有得到充分的挖掘。因此相較對傳統(tǒng)結構化數(shù)據(jù)的挖掘，文本

2、挖掘似乎更符合當下的時代背景和現(xiàn)實需求。文本分類是文本挖掘研究的熱點方向且極具實用價值，因此文本分類被廣泛的應用到各領域。理論部分，本文從文本挖掘的概念開始，逐步介紹了文本挖掘的相關知識，包括文本預處理、權重計算、特征選擇以及文本表示等。重點介紹了文本分類的常用統(tǒng)計學習方法，如最近鄰算法（KNN）、樸素貝葉斯算法（NB）和決策樹算法（DT）等，并分析了各自算法的特點。在集成學習方面，概述了Bagging和Boosting兩種方法的相關理

3、論，比較了兩種方法的異同，并重點介紹了具有代表性的隨機森林算法。實證部分，首先選取了三種常用的單一分類模型算法，比較了其在文本分類方面的表現(xiàn)。從分類精度來看，KNN算法因其較好的穩(wěn)定性和靈活性表現(xiàn)要好于樸素貝葉斯算法和決策樹方法。此外，在同一份數(shù)據(jù)上我們建立了隨機森林模型，比較了其與KNN算法的分類效果，結果證明集成學習分類模型在精度方面確實優(yōu)于單一分類模型。最后考慮到在實際應用過程中通常文本數(shù)據(jù)規(guī)模較大，嘗試了一種基于單機的文本分類模