主題搜索引擎的信息抽取和索引的研究.pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展,“信息過(guò)載”已經(jīng)成為一個(gè)亟待解決的問(wèn)題。為了使用戶準(zhǔn)確獲取他想要的信息,信息抽取成為必要。從網(wǎng)頁(yè)中抽取信息的程序稱(chēng)為Wrapper。關(guān)鍵的任務(wù)是:Wrapper的構(gòu)造要盡可能快速,不需要過(guò)多人為地參與,并且,構(gòu)造出的Wrapper要盡可能健壯,能適應(yīng)網(wǎng)頁(yè)的變化,同時(shí),還要盡可能通用,與具體網(wǎng)站無(wú)關(guān)。針對(duì)Wrapper生成問(wèn)題,人們提出了各種各樣的方法。這些方法的抽取模式語(yǔ)言基本上都是自己定制的,往往很簡(jiǎn)單、難以描述

2、精確或者復(fù)雜的信息抽取模式。盡管通過(guò)人為標(biāo)記的樣本可以自動(dòng)歸納出抽取規(guī)則,但這些抽取規(guī)則很難達(dá)到很高的精度、健壯性和通用性。本文使用標(biāo)準(zhǔn)的XML技術(shù)來(lái)解決網(wǎng)頁(yè)信息抽取問(wèn)題?；跇?biāo)準(zhǔn)的XSLT,可以利用它強(qiáng)大而且靈活的特性編寫(xiě)簡(jiǎn)單、健壯和通用的抽取規(guī)則。為了快速的構(gòu)造抽取規(guī)則,我們開(kāi)發(fā)了一個(gè)信息抽取平臺(tái)。由于抽取規(guī)則的失效主要源于XPath路徑表達(dá)式的失效,所以本文還對(duì)抽取規(guī)則的優(yōu)化方法作了研究,提出了幾種改進(jìn)的信息定位方法,并且從實(shí)際應(yīng)