基于DOM的Web信息抽取技術(shù)的研究與實(shí)現(xiàn).pdf

1、當(dāng)前，互聯(lián)網(wǎng)已成為全球信息傳播與共享的重要渠道，但隨著其數(shù)據(jù)量的爆炸性增長(zhǎng)，用戶查找自己所需的信息卻變得越來越困難。在這種情況下，如何從浩繁的Web數(shù)據(jù)中抽取出有用的信息就成為了眾多研究工作者希望解決的問題。近年來國(guó)內(nèi)外已涌現(xiàn)了多種Web信息抽取方法，這些方法各有側(cè)重地解決了信息抽取中所面臨的問題。雖然在總體上取得了良好的效果，但仍然存在著對(duì)樣本需求過多，工作量大的缺陷。 針對(duì)現(xiàn)有方法的不足，提出一種半自動(dòng)化Web信息抽取方法，

2、主要內(nèi)容包括以下幾個(gè)方面： 首先，在相似頁(yè)面的獲取上，采用基于URL結(jié)構(gòu)比較和簡(jiǎn)單樹匹配算法相結(jié)合的方式來進(jìn)行。即對(duì)爬蟲程序在網(wǎng)站內(nèi)獲取的超鏈接采用URL比較法進(jìn)行先過濾，去掉不滿足匹配條件的網(wǎng)頁(yè)。然后使用簡(jiǎn)單樹匹配法對(duì)剩下的網(wǎng)頁(yè)進(jìn)行后過濾，以此來得到最終的相似頁(yè)面。這樣在網(wǎng)頁(yè)的相似性度量上，不僅考慮了URL，還考慮了網(wǎng)頁(yè)的實(shí)際結(jié)構(gòu)，彌補(bǔ)了單純根據(jù)URL獲取相似頁(yè)面的不足。 其次，提出一種基于DOM的Web信息抽取方法，

3、通過對(duì)用戶標(biāo)記項(xiàng)與測(cè)試網(wǎng)頁(yè)中數(shù)據(jù)項(xiàng)進(jìn)行比較來獲取有效信息。即先將樣本網(wǎng)頁(yè)進(jìn)行解析，提取其中感興趣數(shù)據(jù)項(xiàng)的特征。當(dāng)輸入測(cè)試網(wǎng)頁(yè)時(shí)，通過與其中所有的數(shù)據(jù)項(xiàng)進(jìn)行特征比較來獲得抽取結(jié)果。采用這種方式進(jìn)行信息抽取克服了傳統(tǒng)基于DOM的信息抽取方法對(duì)網(wǎng)頁(yè)結(jié)構(gòu)變化適應(yīng)性不強(qiáng)的缺點(diǎn)。 第三，針對(duì)多記錄網(wǎng)頁(yè)特別是記錄數(shù)目不固定的網(wǎng)頁(yè)進(jìn)行信息抽取時(shí)，提出一種試探策略。在計(jì)算出用戶標(biāo)記記錄與測(cè)試網(wǎng)頁(yè)中記錄的相似度矩陣后，通過矩陣的變化情況來確定記錄間