基于XML的Web文本數(shù)據(jù)挖掘的研究.pdf

1、自從Internet誕生以來(lái),互聯(lián)網(wǎng)上的信息正以指數(shù)形式飛速增長(zhǎng)。如何在WWW這個(gè)全球最大的數(shù)據(jù)集合中發(fā)現(xiàn)用戶的有用信息已成為數(shù)據(jù)挖掘研究的熱點(diǎn),Web數(shù)據(jù)挖掘也因此而產(chǎn)生。Web是一個(gè)巨大的、廣泛分布的、高度異構(gòu)的、半結(jié)構(gòu)化的、超文本、超媒體的、相互聯(lián)系并且不斷進(jìn)化的信息倉(cāng)庫(kù);是一個(gè)巨大的文檔積累的集合,包括了豐富、動(dòng)態(tài)的超鏈接信息以及Web頁(yè)面的訪問(wèn)和使用信息。由于現(xiàn)行的網(wǎng)絡(luò)環(huán)境以HTML語(yǔ)言為基礎(chǔ)構(gòu)建,它是一種只能描述形式而不能揭

2、示內(nèi)容的語(yǔ)言,因此,Web上的半結(jié)構(gòu)化數(shù)據(jù)和異構(gòu)數(shù)據(jù)源問(wèn)題給Web數(shù)據(jù)挖掘帶來(lái)了困難。W3C開(kāi)發(fā)的XML(eXtensibleMarkup Language)可擴(kuò)展標(biāo)記語(yǔ)言,支持豐富的數(shù)據(jù)結(jié)構(gòu),特別強(qiáng)調(diào)數(shù)據(jù)語(yǔ)義與元素之間的關(guān)系,因此基于XML的Web數(shù)據(jù)挖掘可以充分利用XML的特點(diǎn),為Web數(shù)據(jù)挖掘帶來(lái)了新的契機(jī)。
　　本文對(duì)基于XML的Web文本數(shù)據(jù)挖掘過(guò)程中作了深入的研究,在介紹了數(shù)據(jù)挖掘、Web數(shù)據(jù)挖掘、XML技術(shù)等相關(guān)理論

3、知識(shí)的基礎(chǔ)上,首先詳細(xì)闡述了Web數(shù)據(jù)挖掘中HITS算法的原理,分析了該算法的一些主要問(wèn)題,給出了一種改進(jìn)算法,在一定程度上有效的改進(jìn)了HITS算法的最主要問(wèn)題“主題漂移”問(wèn)題;然后把XML與Web數(shù)據(jù)挖掘兩項(xiàng)技術(shù)相結(jié)合進(jìn)行研究,提出了一個(gè)基于XML的Web文本數(shù)據(jù)文本挖掘系統(tǒng)模型。
　　由于Web文本預(yù)處理的結(jié)果對(duì)Web文本數(shù)據(jù)挖掘的質(zhì)量和效率有著很重要的影響,因此Web文本預(yù)處理階段是至關(guān)重要的,需要進(jìn)行詳細(xì)而完善的研究。本文

4、從Web文本預(yù)處理的過(guò)程和方法進(jìn)行了深入的研究,提出用樹(shù)形結(jié)構(gòu)將HTML轉(zhuǎn)換為XML的算法,有效的簡(jiǎn)化了XML的抽取過(guò)程,將Web頁(yè)面上的信息進(jìn)行結(jié)構(gòu)化,進(jìn)而再將這些Web文本表示成計(jì)算機(jī)能夠處理的形式,提取出對(duì)文本挖掘有用的信息,縮減數(shù)據(jù)量,從而實(shí)現(xiàn)Web文本數(shù)據(jù)的分類,并為Web文本數(shù)據(jù)挖掘打下了堅(jiān)實(shí)的基礎(chǔ)。
　　本文提出的基于XML的Web文本挖掘模型主要包含了Web文本預(yù)處理和Web文本數(shù)據(jù)挖掘的功能,然后通過(guò)利用XML的