自動文本特征抽取的研究與實現(xiàn).pdf

1、隨著Internet的普及與發(fā)展,我們進(jìn)入了一個網(wǎng)絡(luò)時代.如何在浩瀚無邊的網(wǎng)絡(luò)信息資源中快速查找到自己需要的資料,是每個網(wǎng)絡(luò)用戶都面臨的問題.數(shù)據(jù)挖掘的分支,文本挖掘能很好的解決這個問題.該文介紹了文本挖掘的相關(guān)技術(shù)及其應(yīng)用情況.重點(diǎn)比較和研究了文本分類中的文本特征抽取算法,針對基于詞條的互信息法、基于文檔的互信息法和相關(guān)系數(shù)法三種特征抽取方法進(jìn)行了實驗,實驗采用了支持向量機(jī)分類器檢驗不同特征抽取算法的效果.結(jié)果表明,三種特征抽取方法的

2、效果都較好,在訓(xùn)練集較少的情況下得到了較高的分類質(zhì)量.當(dāng)訓(xùn)練集達(dá)到一定規(guī)模時,兩種互信息法的算法效果較好.兩種互信息法的比較中,基于詞條的互信息法稍微占優(yōu).根據(jù)分析,原因是基于詞條的互信息法能充分體現(xiàn)了不同詞量的文檔之間重要性的差別,而使特征選取更精確.評價文本特征抽取方法的評價除了準(zhǔn)確性外還應(yīng)考慮運(yùn)算的效率.該文通過理論和實驗證明了選擇名詞作為文檔特征子集對于文檔自動分類來說是非常合適的.在保證分類正確性的同時可縮短特征抽取時間為原來