基于粗糙集的文本分類技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的普及和規(guī)模的急劇擴張，作為網(wǎng)絡(luò)80％以上信息的主要表達方式，各種各樣的電子文本得以迅速膨脹，往往造成大量無用信息淹沒了有用信息，出現(xiàn)了信息極大豐富知識卻相對貧乏的網(wǎng)絡(luò)信息搜索現(xiàn)狀。如何有效地組織和管理這些海量信息資源，使人們能夠按照文本內(nèi)容實現(xiàn)對其自動分類，幫助用戶迅速準(zhǔn)確地獲取其所需要的知識和信息，是計算機科學(xué)領(lǐng)域目前的研究熱點之一，具有廣泛的應(yīng)用背景和實用價值。 粗糙集是由波蘭數(shù)學(xué)家Z.Pawlak于1982年提

2、出的一種處理含糊和不確定問題的集合理論，建立了知識和分類能力的聯(lián)系，其主要思想是在保持分類能力不變的前提下，通過知識約簡，導(dǎo)出決策或分類規(guī)則。該理論自90年代被引入到機器學(xué)習(xí)、人工智能等領(lǐng)域后，己經(jīng)成功地用于知識獲取、規(guī)則提取、決策分析、模式識別、數(shù)據(jù)挖掘等領(lǐng)域。本文結(jié)合粗糙集理論對文本分類進行研究，主要進行了以下工作： 研究文本分類過程中的特征選擇方法和文本向量模型的權(quán)值計算公式TF-IDF，采取不同的特征選取方法，比較基于文

3、本特征選擇方法的改進TF-IDF權(quán)值計算公式效果，確定進行文本分類的合適權(quán)值計算公式。 研究將粗糙集應(yīng)用于文本分類技術(shù)，通過簡單的等距離數(shù)據(jù)離散化方法，生成易于理解的文本分類規(guī)則。 研究粗糙集理論中的屬性約簡算法，對利用文本特征選擇方法和粗糙集理論本身的兩種不同屬性重要性的評價方法進行綜合，并詳細比較各種屬性評價方法在精確約簡和近似約簡的表現(xiàn)，從中找出合適的用于啟發(fā)式屬性約簡的屬性重要性衡量方法。 對于粗糙集理論