有效特征值提取的快速中文文本分類.pdf

1、隨著信息產(chǎn)業(yè)特別是互聯(lián)網(wǎng)的高速發(fā)展，人們可以很容易地從互聯(lián)網(wǎng)、數(shù)字圖書館以及公司內(nèi)部網(wǎng)絡(luò)獲得海量的數(shù)據(jù)。這些數(shù)據(jù)按照其組織形式可分為：結(jié)構(gòu)化的數(shù)據(jù)(如數(shù)據(jù)庫記錄等)、半結(jié)構(gòu)化的數(shù)據(jù)(xml文檔，有相對固定格式的各類格式化文檔)和無結(jié)構(gòu)數(shù)據(jù)(如中文文本等)。 面對浩如煙海的數(shù)據(jù)，需要使用數(shù)據(jù)挖掘技術(shù)從數(shù)據(jù)中抽取感興趣的信息。對于結(jié)構(gòu)化的數(shù)據(jù)，數(shù)據(jù)挖掘工作比較直觀，但是對于一些非結(jié)構(gòu)化數(shù)據(jù)(包括半結(jié)構(gòu)化數(shù)據(jù)中的非結(jié)構(gòu)化數(shù)據(jù))，尤其是

2、我們?nèi)粘Ｉ钜粋€重要的信息來源——中文文本，需要做特殊處理。而中文文本分類正是中文數(shù)據(jù)挖掘的一個重要基礎(chǔ)。 在本論文中，先對當(dāng)前文本分類的發(fā)展現(xiàn)狀和相關(guān)方法做簡要的回顧。 文本分詞是中文文本分類的基礎(chǔ)。本論文首先實現(xiàn)了基于語料庫的統(tǒng)計分詞系統(tǒng)。然后對文本進(jìn)行預(yù)處理，去掉弱詞性詞匯，只保留2-4個字的名詞和動詞。 對文檔進(jìn)行了預(yù)處理后，按照一般文檔分類過程依次給出了新的特征選擇和特征權(quán)重的計算方法，并據(jù)此設(shè)計了一種

3、基于貝葉斯原理的快速分類器。 特征選擇：提出了一種新的基于詞頻、互信息和類別信息的綜合特征選擇算法，能夠去掉大量的噪聲，提高分類效率。 特征權(quán)重：分析了傳統(tǒng)TF-IDF權(quán)重函數(shù)的不足，提出利用特征選擇函數(shù)值代替IDF進(jìn)行權(quán)值調(diào)整，并在詞頻統(tǒng)計上進(jìn)行了改進(jìn)。 分類算法：根據(jù)貝葉斯原理，利用特征選擇函數(shù)值衡量特征詞與類別的相關(guān)性，結(jié)合權(quán)重計算方法判斷測試文本的類別，比傳統(tǒng)的貝葉斯算法更加簡單有效。 在論文的最