基于數(shù)據(jù)挖掘的Web文本分析研究.pdf

1、隨著計算機(jī)技術(shù)的發(fā)展，人們利用計算機(jī)技術(shù)進(jìn)行生產(chǎn)、研究等方面的需求迅速提高，成千上萬的數(shù)據(jù)庫被用于電子商務(wù)、商業(yè)管理、政府辦公和科學(xué)研究等眾多領(lǐng)域。特別是在Internet技術(shù)日趨成熟的今天，在Internet上存在著可以廣泛被使用的大量甚至海量的數(shù)據(jù)，人們迫切需要從這些數(shù)據(jù)中獲取有用的信息和知識，為了解決信息過量與知識貧乏之間的矛盾，數(shù)據(jù)挖掘技術(shù)引起了信息產(chǎn)業(yè)界乃至整個社會的極大關(guān)注，成為當(dāng)今研究的重點(diǎn)。
　　 本文的主要內(nèi)容

2、是基于數(shù)據(jù)挖掘的Web文本分析研究，首先分析了當(dāng)前數(shù)據(jù)挖掘特別是Web文本挖掘的研究現(xiàn)狀，在介紹了數(shù)據(jù)挖掘的相關(guān)概念、基本方法以及基本應(yīng)用等之后，通過構(gòu)建Web文本挖掘的框架，重點(diǎn)分析Web文本挖掘的基本方法和步驟。在Web文本分類方面，提出了一種可伸縮的樸素貝葉斯分類算法并作了實驗分析。在較全面綜述了基于密度的離群點(diǎn)檢測的概念、理論和方法后，提出了基于信息熵加權(quán)的局部離群測度離群點(diǎn)檢測算法，分別針對一般的數(shù)據(jù)集以及Web文本數(shù)據(jù)集做了

3、實驗和分析，取得了一定的成果。本文的主要內(nèi)容如下：
　　 (1)Web文本挖掘的相關(guān)概念，首先介紹了數(shù)據(jù)挖掘的概念、任務(wù)、方法、流程以及應(yīng)用，然后進(jìn)一步闡述Web文本挖掘的定義，研究了Web頁面的特征表示、Web頁面的特征提取、Web文本挖掘的結(jié)構(gòu)模型，并指出了Web文本挖掘未來的發(fā)展方向，最后通過實驗對Web文本進(jìn)行了預(yù)處理。
　　 (2)基于雨林框架的樸素貝葉斯Web文本分類，在介紹了樸素貝葉斯分類算法和雨林框架的基

4、本理論后，提出了一種可伸縮的分類算法，可以用于Web文本分類。通過具體的算法設(shè)計與實驗驗證了該算法的可行性與有效性，最后進(jìn)行了總結(jié)和展望。
　　 (3)基于信息熵加權(quán)的Web離群點(diǎn)檢測，首先對離群點(diǎn)的概念、應(yīng)用和基本方法等做了綜述，特別對基于密度的局部離群檢測做了深入的研究，總結(jié)了基本的算法及其特點(diǎn)。在這些準(zhǔn)備工作之后，對局部空間離群測度(SLOM)算法進(jìn)行了改進(jìn)，提出了基于信息熵加權(quán)的局部離群測度(ESLOM)離群點(diǎn)檢測算法，