中文信息過(guò)濾技術(shù)的研究.pdf

1、近年來(lái)，Internet的迅速發(fā)展給人們帶來(lái)諸多方便的同時(shí)，也帶來(lái)了諸如信息過(guò)載、信息迷向等很多問(wèn)題，為了克服這個(gè)問(wèn)題，有必要對(duì)Web信息過(guò)濾技術(shù)進(jìn)行研究。中文文本信息過(guò)濾是中文信息處理的主要方向之一，它根據(jù)用戶(hù)的需求，在動(dòng)態(tài)的信息流中搜索用戶(hù)感興趣的信息，屏蔽其它無(wú)用的信息。為用戶(hù)獲取和使用信息提供便利。 網(wǎng)頁(yè)文本的提取是進(jìn)行信息過(guò)濾處理的前提。本文對(duì)網(wǎng)頁(yè)的源碼進(jìn)行結(jié)構(gòu)和控制符進(jìn)行了分析，實(shí)現(xiàn)了文本提取和中文分詞的程序，使用該

2、程序可以從這些文本中提取關(guān)鍵詞形成關(guān)鍵詞集合，文檔以這些關(guān)鍵詞來(lái)表示時(shí)，信息的處理就變的簡(jiǎn)單了。 目前在數(shù)據(jù)挖掘的諸多方法中，基于ID3算法的決策樹(shù)方法是信息過(guò)濾中采用較廣泛的方法。在對(duì)ID3算法學(xué)習(xí)分析研究的基礎(chǔ)上，實(shí)現(xiàn)了一個(gè)基于ID3算法的決策樹(shù)分類(lèi)程序，該程序可以對(duì)中文信息進(jìn)行有效的分類(lèi)。此外，該程序還可以從分類(lèi)數(shù)據(jù)中提取分類(lèi)規(guī)則，這些規(guī)則可以根據(jù)需要進(jìn)行增加、刪除和修改。實(shí)驗(yàn)結(jié)果表明決策樹(shù)分類(lèi)器確實(shí)是一種有效的分類(lèi)技術(shù)。

3、 基于貝葉斯網(wǎng)絡(luò)模型的分類(lèi)是當(dāng)前數(shù)據(jù)挖掘領(lǐng)域的一個(gè)有實(shí)用價(jià)值的研究熱點(diǎn)。本文從兩個(gè)方面對(duì)貝葉斯分類(lèi)模型進(jìn)行了研究和程序?qū)崿F(xiàn)：樸素貝葉斯分類(lèi)與屬性關(guān)聯(lián)貝葉斯分類(lèi)。雖然樸素貝葉斯網(wǎng)是一種簡(jiǎn)單而有效的分類(lèi)模型，但它的屬性獨(dú)立性假設(shè)使其無(wú)法表達(dá)屬性變量間存在的依賴(lài)關(guān)系，影響了它的分類(lèi)性能。通過(guò)對(duì)關(guān)鍵詞集合進(jìn)行分析，根據(jù)關(guān)鍵詞出現(xiàn)的規(guī)律，提出了一種建立屬性間依賴(lài)關(guān)系的方案，實(shí)現(xiàn)了一個(gè)基于屬性關(guān)聯(lián)的貝葉斯分類(lèi)器，并和決策樹(shù)、向量空間模型、B