基于向量空間模型的文本自動(dòng)分類系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)信息的迅猛發(fā)展，信息處理已經(jīng)成為人們獲取有用信息不可缺少的工具。九十年代以來(lái)，Internet以驚人的速度發(fā)展起來(lái)，它容納了海量的各種類型的原始信息，包括文本信息、聲音信息、圖像信息等等。如何在浩若煙海而又紛繁蕪雜的文本中掌握最有效的信息始終是信息處理的一大目標(biāo)?；谌斯ぶ悄芗夹g(shù)的文本分類系統(tǒng)能依據(jù)文本的語(yǔ)義將大量的文本自動(dòng)分門別類，從而更好地幫助人們把握文本信息。文本自動(dòng)分類系統(tǒng)是信息處理的重要研究方向，它是指在給定的分類體系

2、下，根據(jù)文本的內(nèi)容自動(dòng)判別文本類別的過(guò)程。近年來(lái)，文本分類技術(shù)已經(jīng)逐漸與搜索引擎、信息推送、信息過(guò)濾等信息處理技術(shù)相結(jié)合，有效地提高了信息服務(wù)的質(zhì)量。研究文本自動(dòng)分類具有非常重要的意義，它可以大大縮短我們對(duì)資料的整理時(shí)間，為信息檢索提供方便，有利于實(shí)現(xiàn)文檔的存檔管理。 本文對(duì)文本分類所涉及的關(guān)鍵技術(shù)：分詞、特征提取、分類算法、文本分類評(píng)價(jià)標(biāo)準(zhǔn)及向量空間模型進(jìn)行了深入的研究和探討。 實(shí)現(xiàn)了一個(gè)包含簡(jiǎn)單向量、貝葉斯、k近鄰算

3、法的文本分類系統(tǒng)，特征提取方法采用了文檔頻數(shù)、信息增益、互信息、期望交叉熵、x＾2統(tǒng)計(jì)、文本證據(jù)權(quán)等多種特征評(píng)估函數(shù)。比較了各種分類算法對(duì)分類性能的影響，探討了各種特征評(píng)估函數(shù)下分類性能的優(yōu)劣，研究了特征數(shù)目對(duì)各種不同分類算法以及特征提取方法對(duì)分類性能的影響。 由于考慮到以詞為單位作為特征項(xiàng)時(shí)，特征項(xiàng)主要是名詞、動(dòng)詞、形容詞實(shí)詞，所以提出了只選取名詞、形容詞、動(dòng)詞三類詞，取代以前的使用禁用詞表的方法。 通過(guò)對(duì)常用的特征權(quán)