WEB數(shù)據(jù)自動抽取技術(shù)及其應(yīng)用研究.pdf

1、隨著Internet的飛速發(fā)展，網(wǎng)絡(luò)中包含著海量可以被利用的數(shù)據(jù)。其中由Web數(shù)據(jù)庫返回并根據(jù)預(yù)定義模板展現(xiàn)在用戶響應(yīng)頁面中的數(shù)據(jù)記錄，是一類非常重要的Web數(shù)據(jù)類型。這類記錄展示的產(chǎn)品或服務(wù)信息等構(gòu)成了頁面的主體內(nèi)容，包含著大量有價值的信息。因此研究如何針對包含這類數(shù)據(jù)記錄的Web頁面進行數(shù)據(jù)抽取，具有重大的現(xiàn)實意義和實用價值。
　　針對這類可稱為多記錄數(shù)據(jù)密集型的頁面，本文提出了一種基于視覺信息的主數(shù)據(jù)區(qū)域識別方法，能夠?qū)撁?/p>

2、中數(shù)據(jù)記錄所在的主要數(shù)據(jù)區(qū)域進行有效識別，得到其對應(yīng)的標(biāo)簽子樹。該方法將首先基于標(biāo)簽的視覺位置信息，進行頁面的拓展標(biāo)簽樹的構(gòu)建，并對其中無關(guān)的頁面標(biāo)簽節(jié)點進行清理，然后將基于頁面的視覺特征完成對主數(shù)據(jù)區(qū)域的識別，得到剪枝后的標(biāo)簽子樹。針對于頁面中的待抽取數(shù)據(jù)記錄內(nèi)容，算法通過進行無關(guān)節(jié)點及噪聲塊的清除，縮小標(biāo)簽樹的規(guī)模，將減少后續(xù)抽取過程的計算量，有效提高抽取效率。
　　此外，本文還設(shè)計并實現(xiàn)了一個基于標(biāo)簽樹的Web數(shù)據(jù)自動抽取系

3、統(tǒng)。該系統(tǒng)能夠針對多記錄數(shù)據(jù)密集型頁面中的半結(jié)構(gòu)化數(shù)據(jù)記錄進行自動的數(shù)據(jù)抽取，輸出結(jié)構(gòu)化的數(shù)據(jù)表單。該抽取系統(tǒng)的核心抽取過程主要由樹匹配計算、數(shù)據(jù)記錄識別以及數(shù)據(jù)項抽取三個功能模塊組成。系統(tǒng)根據(jù)上述主數(shù)據(jù)區(qū)域識別方法生成的視覺信息拓展標(biāo)簽樹，將基于樹的匹配計算，依次進行數(shù)據(jù)區(qū)域判定、數(shù)據(jù)記錄識別以及數(shù)據(jù)項的抽取對齊，逐層遞進的縮小目標(biāo)區(qū)域的大小，完成對數(shù)據(jù)的自動抽取。
　　系統(tǒng)抽取測試結(jié)果表明，該系統(tǒng)能夠有效地針對多記錄數(shù)據(jù)密集型