WEB信息抽取的研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，Internet在我們的生活中扮演著越來(lái)越重要的角色，成為我們生活和工作中不可缺少的一部分。但是，因?yàn)閃WW是一個(gè)虛擬的開(kāi)放環(huán)境，因此任何人都能夠在上面發(fā)表其言論。為了能夠幫助網(wǎng)絡(luò)用戶快速的收發(fā)信息，出現(xiàn)了很多的互聯(lián)網(wǎng)搜索引擎，向眾多用戶提供信息搜索服務(wù)。那么該怎么樣迅速而有效率地搜索某主題的相關(guān)消息，就是個(gè)非常重要的事情。為了有效解決如何準(zhǔn)確地從Web頁(yè)面中抽取所需要內(nèi)容，我們深入研究了基于Web的包裝器這項(xiàng)技術(shù)

2、。 Web上的信息大部分都是用半結(jié)構(gòu)化的HTML頁(yè)面表示的.在這些HTML頁(yè)面中既有文本網(wǎng)頁(yè)，也有數(shù)據(jù)型網(wǎng)頁(yè).其中數(shù)據(jù)型頁(yè)面通常都是采用動(dòng)態(tài)頁(yè)面生成技術(shù)自動(dòng)生成的，數(shù)據(jù)存儲(chǔ)在后臺(tái)數(shù)據(jù)庫(kù)中，使用腳本程序從數(shù)據(jù)庫(kù)中檢索數(shù)據(jù)并自動(dòng)產(chǎn)生HTML頁(yè)面.但HTML頁(yè)面的結(jié)構(gòu)不適合對(duì)其中的數(shù)據(jù)進(jìn)行自動(dòng)化處理，于是我們用包裝器將隱含在Web網(wǎng)頁(yè)中的信息通過(guò)抽取規(guī)則轉(zhuǎn)換為與預(yù)定義格式相一致的信息的程序，轉(zhuǎn)換后的信息可以為以后的程序所利用。

3、 包裝器中的抽取規(guī)則可以很好的挖掘出網(wǎng)頁(yè)背后所隱藏的模板中各個(gè)結(jié)構(gòu)體之間的層次關(guān)系，從而準(zhǔn)確抽取出我們需要的信息。但如果上述Web數(shù)據(jù)抽取信息發(fā)生了改變，就會(huì)導(dǎo)致源程序的修改與重新編譯，維護(hù)起來(lái)非常困難。本文總結(jié)了過(guò)去一些Web信息抽取技術(shù)的特點(diǎn)，針對(duì)現(xiàn)有一些Web應(yīng)用程序的不足與局限性，開(kāi)發(fā)了我們自己的包裝器系統(tǒng)TSND(Extraction Wrapper based on TemplateStructrue aNd DOM tr