基于Web挖掘的文本預(yù)處理研究及應(yīng)用.pdf

1、隨著Internet技術(shù)的發(fā)展，尤其Web的全球普及，出現(xiàn)了信息極豐富而知識(shí)卻相對(duì)匾乏的現(xiàn)象。如何從這些浩瀚的文本中發(fā)現(xiàn)有價(jià)值的信息是信息處理領(lǐng)域的重要目標(biāo)。Web文本信息挖掘是數(shù)據(jù)挖掘技術(shù)在網(wǎng)絡(luò)信息處理中的一個(gè)重要應(yīng)用，但由于Internet的開放性與異構(gòu)性，使得用戶很難快速準(zhǔn)確地從WWW上獲取所需信息，因此如何從大量信息中迅速有效的提取出所需信息也就成了一項(xiàng)重要的研究課題。文本預(yù)處理是文本分類的瓶頸。因此本論文從事的文本挖掘預(yù)處理工

2、作，以及在該工作基礎(chǔ)上開展的文本分類技術(shù)研究，具有重要理論意義和實(shí)用價(jià)值。 本文首先對(duì)Web挖掘的有關(guān)理論進(jìn)行論述，然后討論了Web文本挖掘前預(yù)處理技術(shù)，最后提出了在預(yù)處理過程中的一些改進(jìn)方法： (1)在特征權(quán)重計(jì)算方面：通過對(duì)常用的特征權(quán)重算法的分析和比較，改進(jìn)了傳統(tǒng)的TF×IDF算法：用新的基尼指數(shù)評(píng)估函數(shù)代替IDF。實(shí)驗(yàn)表明這種改進(jìn)的方法在提高分類精度和挖掘效率方面優(yōu)于其他方法。 (2)在分類器方法中：為了