基于XML的Web文本挖掘算法研究及應(yīng)用.pdf

1、傳統(tǒng)的數(shù)據(jù)挖掘?qū)ο笾饕轻槍?duì)數(shù)據(jù)庫(kù)或者數(shù)據(jù)倉(cāng)庫(kù),然而大量的數(shù)據(jù)并非存儲(chǔ)在他們之中而是分散在萬(wàn)維網(wǎng)上?；诜N種因?yàn)椴荒苤苯拥玫絎eb數(shù)據(jù)的后臺(tái)數(shù)據(jù)庫(kù),因而無(wú)法直接利用各種基于數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)挖掘技術(shù)來(lái)獲得Web上的隱含知識(shí),由此Web數(shù)據(jù)挖掘應(yīng)運(yùn)而生。
　　 Web是一個(gè)巨大的、分布廣泛的、高度異構(gòu)的、半結(jié)構(gòu)化的、超文本、超媒體的、相互聯(lián)系并且不斷進(jìn)化的信息倉(cāng)庫(kù)；它包括了豐富、動(dòng)態(tài)的超鏈接信息以及Web頁(yè)面的訪問(wèn)和使用信息。

2、現(xiàn)行的網(wǎng)絡(luò)環(huán)境大都以HTML語(yǔ)言為基礎(chǔ)構(gòu)建,它是一種只能描述形式而不能揭示內(nèi)容的標(biāo)記語(yǔ)言,因此,Web上的半結(jié)構(gòu)化數(shù)據(jù)和異構(gòu)數(shù)據(jù)源問(wèn)題給Web數(shù)據(jù)挖掘帶來(lái)了困難。W3C開發(fā)的XML可擴(kuò)展標(biāo)記語(yǔ)言,支持豐富的數(shù)據(jù)結(jié)構(gòu),特別強(qiáng)調(diào)數(shù)據(jù)語(yǔ)義與元素之間的關(guān)系,因此基于XML的Web數(shù)據(jù)挖掘可以充分利用XML的特點(diǎn),為Web數(shù)據(jù)挖掘帶來(lái)了新的契機(jī)。
　　 本文研究了基于XML的Web文本挖掘的基本方法和技術(shù),其核心思想是將現(xiàn)有的Web頁(yè)面轉(zhuǎn)

3、換成XML格式,從而完成了對(duì)Web上異構(gòu)的、半結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行整合和組織,使其成為結(jié)構(gòu)化較好的、高層次的資源集合,然后使用XML技術(shù)處理XML結(jié)構(gòu)的數(shù)據(jù),找到適當(dāng)?shù)臄?shù)據(jù),并將這些數(shù)據(jù)映射到關(guān)系數(shù)據(jù)庫(kù)中,最后通過(guò)面向關(guān)系數(shù)據(jù)庫(kù)的數(shù)據(jù)挖掘工具進(jìn)行關(guān)聯(lián)規(guī)則提取,以獲得更多有用信息。
　　 本文的主要內(nèi)容有:
　　 第一,闡述了XML的特點(diǎn),文檔結(jié)構(gòu),并與HTML作了比較,介紹了XML的相關(guān)技術(shù)。對(duì)Web數(shù)據(jù)挖掘進(jìn)行了全面的介紹

4、,包括Web數(shù)據(jù)挖掘的定義,工作流程,與傳統(tǒng)數(shù)據(jù)挖掘的異同,將Web挖掘與Web信息檢索作了比較。介紹了XML技術(shù)與Web數(shù)據(jù)挖掘相結(jié)合的發(fā)展?fàn)顩r。
　　 第二,提出了一個(gè)基于XML的Web數(shù)據(jù)挖掘系統(tǒng)模型,給出了基于配對(duì)原則的Html到XML的轉(zhuǎn)換方法,并通過(guò)實(shí)驗(yàn)與HTML Tidy工具作了比較?；诖朔椒?設(shè)計(jì)并實(shí)現(xiàn)了基于XML的Web數(shù)據(jù)抽取,最后將有關(guān)數(shù)據(jù)映射到關(guān)系數(shù)據(jù)庫(kù)中,為在Web挖掘中使用傳統(tǒng)的針對(duì)關(guān)系數(shù)據(jù)庫(kù)的數(shù)據(jù)

5、挖掘方法進(jìn)行挖掘創(chuàng)造有利條件。
　　 第三,簡(jiǎn)要介紹了關(guān)聯(lián)規(guī)則提取的過(guò)程和方法,重點(diǎn)介紹并分析了挖掘關(guān)聯(lián)規(guī)則的兩種經(jīng)典算法--Apriori算法和FP-growth算法。提出了一種基于排序FP-tree挖掘最大頻繁模式的高效算法SFP_MFP,給出了最大頻繁模式樹MFPL-tree的定義,并用其存儲(chǔ)最大頻繁模式集,采取了多種措施減少候選最大頻繁模式的產(chǎn)生,利用有效的子集檢查方法,極大地降低了算法的時(shí)空開銷,提高了挖掘效率。實(shí)驗(yàn)結(jié)