基于DOM的Web信息抽取系統(tǒng)設(shè)計與實現(xiàn).pdf

1、Internet的快速發(fā)展使Web已經(jīng)成為人們獲取信息的主要途徑，但是隨著網(wǎng)頁數(shù)量的激增和無關(guān)信息的充斥，使得人們想快速準(zhǔn)確地獲取自己需要的信息變得十分困難。同時隨著“模板+數(shù)據(jù)庫”型網(wǎng)頁的大量出現(xiàn)，Internet上出現(xiàn)了被稱為“暗藏網(wǎng)”(the hidden web)的巨大信息資源庫，據(jù)估計因特網(wǎng)上80%的內(nèi)容存在于這種看不見的因特網(wǎng)中，這些網(wǎng)頁是搜索引擎的“網(wǎng)絡(luò)爬蟲”抓不到的。加之，Internet上的各個網(wǎng)站的信息相互獨立，收集

2、起來十分困難，在這種情況下，通常的搜索引擎發(fā)揮的作用微乎其微，而Web信息抽取技術(shù)顯得十分必要。
　　 通過對現(xiàn)有信息抽取技術(shù)的總結(jié)和分析，結(jié)合“模板+數(shù)據(jù)庫”型網(wǎng)頁的特點，提出了基于DOM結(jié)構(gòu)，利用Xpath表述網(wǎng)頁待抽取信息點的位置，用XSLT描述抽取規(guī)則的半自動化的抽取方案。并在此基礎(chǔ)上，實現(xiàn)了一個抽取規(guī)則適用性較強，自動化程度較高的Web信息抽取系統(tǒng)。系統(tǒng)的實現(xiàn)分為樣本學(xué)習(xí)、信息抽取和數(shù)據(jù)庫存儲三個階段來完成。其中學(xué)習(xí)階