面向文本分類的中文文本挖掘技術(shù)研究及實(shí)現(xiàn).pdf

1、目前,隨著信息技術(shù)的快速發(fā)展,特別是網(wǎng)絡(luò)的普及,以文本形式表示的信息越來越多,如何在紛繁蕪雜的信息海洋中找到自己需要的有用信息,具有廣泛的應(yīng)用背景和實(shí)用價值.文本挖掘作為從浩瀚的文本數(shù)據(jù)中發(fā)現(xiàn)潛在的有價值知識的一種有效技術(shù),已經(jīng)成為近年來的研究熱點(diǎn),許多研究人員對文本挖掘技術(shù)進(jìn)行了大量的研究,但這些研究大部分是在英文環(huán)境下進(jìn)行的,對中文的研究卻很少.該文對中文文本挖掘技術(shù)進(jìn)行了研究,在此基礎(chǔ)上實(shí)現(xiàn)了一個文本分類系統(tǒng).對中文文本進(jìn)行分析的

2、一個前提條件是對中文文本進(jìn)行分詞處理,中文分詞也是進(jìn)行中文信息處理的一個難點(diǎn).針對這一現(xiàn)狀,該文在陳桂林博士的分詞方法基礎(chǔ)上,設(shè)計和實(shí)現(xiàn)了一種快速分詞算法.該方法將常用靜態(tài)詞典分為停用詞和非停用詞兩類詞,在建立詞典時,將是否停用詞作為詞的一個特性.分詞詞典建立首字Hash表和詞索引表二級索引,使得在加載詞典時將詞索引加入內(nèi)存,可以采用二分法對文本進(jìn)行最大匹配分詞,并在分詞的同時根據(jù)詞的類別將對分類沒有意義的停用詞去掉,大大降低了特征維數(shù)

3、.這種分詞算法將分詞和特征集縮減結(jié)合在一起,從而減少了特征縮減過程而使時間復(fù)雜度大大降低.這種分詞算法在實(shí)驗(yàn)中證明實(shí)用性強(qiáng),效果好.文本分類是文本數(shù)據(jù)挖掘領(lǐng)域的一個重要研究方面,采用支持向量機(jī)對文本進(jìn)行分類是當(dāng)前的一個研究熱點(diǎn).該文設(shè)計和實(shí)現(xiàn)了一個基于支持向量機(jī)的實(shí)用文本分類系統(tǒng),介紹了系統(tǒng)實(shí)現(xiàn)中的一些主要技術(shù)問題.文本表示采用向量空間模型,文本的評價方法采用了查準(zhǔn)率和查全率,文本的特征抽取采用了一種互信息方法.分類算法是文本分類的關(guān)鍵