基于中文Web文本的分類研究與系統(tǒng)實(shí)現(xiàn).pdf

1、廈門大學(xué)學(xué)位論文原創(chuàng)性聲明本人呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下，獨(dú)立完成的研究成果。本人在論文寫作中參考其他個(gè)人或集體已經(jīng)發(fā)表的研究成果，均在文中以適當(dāng)方式明確標(biāo)明，并符合法律規(guī)范和《廈門大學(xué)研究生學(xué)術(shù)活動(dòng)規(guī)范(試行)》。另外，該學(xué)位論文為()課題(組)的研究成果，獲得()課題(組)經(jīng)費(fèi)或?qū)嶒?yàn)室的資助，在()實(shí)驗(yàn)室完成。(請?jiān)谝陨侠ㄌ?hào)內(nèi)填寫課題或課題組負(fù)責(zé)人或?qū)嶒?yàn)室名稱，未有此項(xiàng)聲明內(nèi)容的，可以不作特別聲明。)聲明人(簽名)：義夭】(I

2、鵑bl；年6具6B摘要隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的發(fā)展，網(wǎng)絡(luò)信息變得越來越海量，同時(shí)也越來越復(fù)雜，人們在瀏覽網(wǎng)頁新聞時(shí)能否快速找到自己感興趣的類別是判別該網(wǎng)站優(yōu)劣的一個(gè)重要標(biāo)準(zhǔn)，傳統(tǒng)的是靠人工方法對網(wǎng)頁文本進(jìn)行分類，面對如今的海量信息依靠人工分類的方案變得不可行，因此文本自動(dòng)分類技術(shù)應(yīng)運(yùn)而生。又由于中文文本相對于英文文本的特殊性，一些傳統(tǒng)的分類算法并不完全適用于中文文本，中文文本分類之前還要進(jìn)行必要的預(yù)處理。因此很有必要對中文Web文本分類進(jìn)行

3、理論與實(shí)驗(yàn)應(yīng)用研究。本文首先介紹了文本分類的背景、意義以及國內(nèi)外研究現(xiàn)狀，接著介紹中文文本分類的關(guān)鍵技術(shù)，包括Web文本預(yù)處理、中文分詞以及停用詞處理；文本表示的幾種模型以及文本向量之間相似度計(jì)算的公式；重點(diǎn)介紹了幾種特征選擇算法，在介紹分類評(píng)價(jià)指標(biāo)的基礎(chǔ)上通過實(shí)驗(yàn)證明了卡方統(tǒng)計(jì)算法在特征降維方面的優(yōu)越性。接下來介紹了幾種常用的文本分類算法及其特征，其中詳細(xì)介紹了樸素貝葉斯(NaiveBayes)算法，提出了對算法進(jìn)行條件概率的m估計(jì)以

4、及平滑處理的改進(jìn)公式，并通過實(shí)驗(yàn)比較了文檔型模型與詞頻型模型；對K最近鄰算法(KⅫ叼的公式進(jìn)行了改進(jìn)，并通過對比實(shí)驗(yàn)證明了改進(jìn)后KNN算法相對于傳統(tǒng)算法分類效果的提高。由于支持向量機(jī)(SVM)算法在機(jī)器學(xué)習(xí)領(lǐng)域起著越來越重要的作用，本文還詳細(xì)介紹了支持向量機(jī)的理論基礎(chǔ)，討論了對于SVM線性可分與線性不可分問題、訓(xùn)練方法、核函數(shù)與參數(shù)選擇問題以及多類分類問題。此外給出了構(gòu)造組合分類器的幾種方法，并通過實(shí)驗(yàn)證明了SVM分類器核函數(shù)的不同對于