基于視覺(jué)信息和樹(shù)匹配的Deep Web數(shù)據(jù)抽取問(wèn)題研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的快速發(fā)展和普及，Web已經(jīng)成為一個(gè)巨大的信息源集合，擁有著海量信息。Deep Web是由Web中可在線訪問(wèn)的數(shù)據(jù)庫(kù)構(gòu)成，具有信息量大、結(jié)構(gòu)化程度高、領(lǐng)域覆蓋全面等特點(diǎn)，Deep Web對(duì)以分析挖掘?yàn)槟繕?biāo)的應(yīng)用系統(tǒng)有著十分重大的應(yīng)用價(jià)值。隨著電子商務(wù)、市場(chǎng)情報(bào)等應(yīng)用需求的增長(zhǎng)，如何從Deep Web中獲取用戶感興趣的信息或數(shù)據(jù)，以便進(jìn)行深度的分析從而提供更具價(jià)值的服務(wù)和應(yīng)用，比如比價(jià)系統(tǒng)、元搜索等，已成為目前研究的熱點(diǎn)課題。

2、為了有效利用Deep Web，Deep Web數(shù)據(jù)集成應(yīng)運(yùn)而生，包括數(shù)據(jù)獲取、數(shù)據(jù)抽取和數(shù)據(jù)整合等環(huán)節(jié)，其中Deep Web數(shù)據(jù)抽取是其關(guān)鍵環(huán)節(jié)。
　　由于Deep Web的海量、異構(gòu)等特點(diǎn)使得Deep Web數(shù)據(jù)抽取成為一項(xiàng)極具挑戰(zhàn)的工作，其主要困難有:(1)Deep Web涉及領(lǐng)域廣，數(shù)據(jù)量大，要實(shí)現(xiàn)Deep Web數(shù)據(jù)的自動(dòng)抽取。(2)不同Deep Web頁(yè)面差距較大，抽取方法要有一定的適應(yīng)性，確保其抽取的正確率和效率。

3、r>　　本文針對(duì)Deep Web中包含半結(jié)構(gòu)化數(shù)據(jù)的列表頁(yè)面，利用頁(yè)面的視覺(jué)信息和樹(shù)匹配技術(shù)，實(shí)現(xiàn)了此類Web頁(yè)面中數(shù)據(jù)的全自動(dòng)抽取，其主要貢獻(xiàn)和創(chuàng)新有以下兩點(diǎn):
　　(1)列表頁(yè)面中數(shù)據(jù)記錄的識(shí)別和抽取
　　Web頁(yè)面的設(shè)計(jì)是為了方便用戶瀏覽，有著豐富的視覺(jué)信息，比如字體、布局、背景等。為了方便利用頁(yè)面的視覺(jué)信息，我們給出了頁(yè)面的表示模型——視覺(jué)塊樹(shù)，相較于VIPS等頁(yè)面分塊技術(shù)，這里沒(méi)有使用任何假設(shè)和啟發(fā)式規(guī)則，更能客觀

4、的反應(yīng)頁(yè)面信息。
　　為了抽取數(shù)據(jù)記錄，我們首先識(shí)別出數(shù)據(jù)區(qū)域，這里結(jié)合列表頁(yè)面的視覺(jué)特征，給出了數(shù)據(jù)區(qū)域識(shí)別算法，相較于傳統(tǒng)方法，此算法有較強(qiáng)的適應(yīng)性。對(duì)于數(shù)據(jù)區(qū)域下數(shù)據(jù)記錄的識(shí)別，本文采用一種序列劃分的策略，其基本思想是先對(duì)數(shù)據(jù)區(qū)域樹(shù)下子樹(shù)聚類，根據(jù)聚類的結(jié)果信息對(duì)子樹(shù)序列進(jìn)行劃分，過(guò)濾掉噪聲節(jié)點(diǎn)從而確定每條數(shù)據(jù)記錄的邊界，最終實(shí)現(xiàn)數(shù)據(jù)區(qū)域下數(shù)據(jù)記錄的抽取工作。
　　(2)基于樹(shù)匹配技術(shù)實(shí)現(xiàn)數(shù)據(jù)項(xiàng)對(duì)齊
　　數(shù)據(jù)項(xiàng)對(duì)