基于DOM和網(wǎng)頁(yè)模板的信息抽取.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，互聯(lián)網(wǎng)已經(jīng)成為一個(gè)巨大的知識(shí)庫(kù)。為了有效地利用互聯(lián)網(wǎng)上的信息，信息抽取技術(shù)應(yīng)運(yùn)而生。信息抽取技術(shù)屬于人工智能的一個(gè)分支。使用信息抽取技術(shù)可以人性化地從網(wǎng)頁(yè)中把人們需要的信息抽取出來(lái)。本文首先介紹了信息抽取技術(shù)的發(fā)展歷史，國(guó)內(nèi)外的研究狀況，并把信息抽取技術(shù)與幾種相關(guān)技術(shù)作比較。接著，本文對(duì)信息抽取技術(shù)進(jìn)行簡(jiǎn)要的分析，闡述了信息抽取技術(shù)的關(guān)鍵任務(wù)、主要研究方法、體系結(jié)構(gòu)和評(píng)價(jià)標(biāo)準(zhǔn)。 本文研究的信息抽取技術(shù)是基于

2、DOM(文檔結(jié)構(gòu)模型)和網(wǎng)頁(yè)模板的。DOM是W3C的一個(gè)標(biāo)準(zhǔn)，它能夠很好的描述網(wǎng)頁(yè)結(jié)構(gòu)。參照DOM的定義，本文通過(guò)構(gòu)造HTML解析樹來(lái)描述網(wǎng)頁(yè)結(jié)構(gòu)。 考慮到互聯(lián)網(wǎng)上的網(wǎng)頁(yè)大多是通過(guò)網(wǎng)頁(yè)模板生成的，因此在參考前人的研究成果上，本文提出了一種歸納網(wǎng)頁(yè)模板的新方法，它能很好地對(duì)以表格為布局元素的網(wǎng)頁(yè)進(jìn)行模板歸納。通過(guò)歸納網(wǎng)頁(yè)模板，可以減少網(wǎng)頁(yè)中的噪音信息，從而能夠提高信息抽取的準(zhǔn)確率。 本文的抽取規(guī)則是基于DOM的路徑生成的。

3、與一般的基于絕對(duì)路徑的抽取規(guī)則不同，本文的抽取規(guī)則是基于相對(duì)路徑的?；谙鄬?duì)路徑的抽取規(guī)則能減輕因?yàn)榫W(wǎng)頁(yè)結(jié)構(gòu)的變動(dòng)而對(duì)信息抽取造成的影響。并且，基于相對(duì)路徑的抽取規(guī)則還有自適應(yīng)性。當(dāng)網(wǎng)頁(yè)結(jié)構(gòu)完全變化時(shí)，抽取規(guī)則也能重新的自動(dòng)生成。 為了驗(yàn)證本文理論的可行性，本文開發(fā)了一個(gè)可視化的網(wǎng)頁(yè)抽取器，并就生成HTML解析樹、歸納網(wǎng)頁(yè)模板、生成基于相對(duì)路徑的抽取規(guī)則和使用抽取規(guī)則抽取網(wǎng)頁(yè)信息進(jìn)行詳細(xì)的介紹。最后，本文給出了歸納網(wǎng)頁(yè)模板和抽取