基于粗糙集理論的文本分類算法研究及應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,網(wǎng)上的資源呈指數(shù)增長,人工處理這些海量信息代價非常高昂,因此如何高效地組織和管理這些資源成為近些年來的研究熱點.目前傳統(tǒng)的信息檢索技術(shù)己不適應(yīng)日益增加的大量文本數(shù)據(jù)的處理需要,用戶需要更加有效的檢索算法實現(xiàn)文檔重要性和相關(guān)性的排列,完成不同文檔的分類比較.自動組織和管理知識的技術(shù)-文本分類,作為實現(xiàn)這一目標(biāo)的關(guān)鍵技術(shù)之一,得到了研究人員的廣泛關(guān)注. 文本分類是當(dāng)前信息技術(shù)中的一個重要研究領(lǐng)域,本文提出了

2、一種基于粗糙集理論的文本自動分類方法,在對BBS上有害信息的過濾方面具有較高的實用價值.該方法主要利用粗糙集理論對模糊和不確定性知識的處理能力,它不需要任何先驗信息,就可有效分析和處理不完備、不一致、不精確的數(shù)據(jù).目前,粗糙集理論已經(jīng)在機器學(xué)習(xí)、知識獲取、決策分析、知識發(fā)現(xiàn)、專家系統(tǒng)和模式識別等領(lǐng)域取得了一些成功的應(yīng)用.本文主要研究文本分類中決策表的屬性約簡問題和屬性值的約簡問題,所做主要工作包括: 1.描述了文本分類的基本過程

3、,并對幾種常見文本分類算法進行了分析;介紹了粗糙集的基本理論; 2.首先針對幾種常用屬性約簡算法中存在的問題進行了分析,然后給出了基于粗集的Tabu搜索的屬性約簡算法.該算法既具有較高的算法效率,又能以較大的概率得到最小屬性約簡.針對粗糙集理論中的值約簡及最小決策規(guī)則進行了相應(yīng)研究; 3.提出了基于粗糙集的文本分類模型,并將該模型應(yīng)用于BBS信息安全監(jiān)控系統(tǒng)中,將從BBS上搜索到的文本信息通過分類模型過濾出用戶指定內(nèi)容,