模板化Web文檔的主題信息自動(dòng)抽取方法研究.pdf

1、人類社會(huì)的發(fā)展經(jīng)歷了農(nóng)業(yè)社會(huì)、工業(yè)社會(huì)、信息社會(huì)，正朝著智能社會(huì)發(fā)展。從某種角度上說(shuō)，人類社會(huì)目前處于由信息社會(huì)向智能社會(huì)過(guò)渡的階段。在這個(gè)階段，信息依然是主流，是基礎(chǔ)。人們的學(xué)習(xí)、生活和工作在很大程度上都依賴于互聯(lián)網(wǎng)上的信息資源。網(wǎng)上的信息資源的載體形式多樣，有文字、音頻、視頻、圖形圖像。但是，目前計(jì)算機(jī)對(duì)信息載體的理解能力還很低，而且計(jì)算機(jī)對(duì)信息載體的分析技術(shù)以文字處理較為成熟，語(yǔ)音處理、圖形圖像識(shí)別、以及視頻識(shí)別都還處于起步階段。

2、另外，人們想在浩瀚的信息海洋中搜集信息，僅僅依靠人工的力量是不可行的，需要借助計(jì)算機(jī)快速的處理能力。因此，人們搜集信息的方式就主要表現(xiàn)為借助計(jì)算機(jī)，抽取互聯(lián)網(wǎng)中Web文檔的文本信息。
　　 信息抽取技術(shù)為人們搜集信息提供了極大的幫助，從很大程度上使人的角色發(fā)生了轉(zhuǎn)變，從機(jī)械地信息復(fù)制者轉(zhuǎn)變?yōu)橹贫ㄒ?guī)則的決策者。但是，在面向?qū)I(yè)服務(wù)網(wǎng)的信息聚焦系統(tǒng)中，由于信息源網(wǎng)站數(shù)量巨大，人工地制定網(wǎng)頁(yè)的解析規(guī)則(即信息抽取規(guī)則)是一個(gè)既花時(shí)間又

3、很枯燥的工作。如何使人和機(jī)器優(yōu)勢(shì)互補(bǔ)，既發(fā)揮人的決策能力，又發(fā)揮機(jī)器的快速處理能力，使信息抽取的準(zhǔn)確率和效率更高，這是本文研究的主要內(nèi)容。
　　 本文提出了一個(gè)模板化Web文檔的主題信息自動(dòng)抽取的框架，該框架把主題信息自動(dòng)抽取邏輯上分成了三個(gè)模塊：抽取規(guī)則生成模塊、主題信息抽取模塊、自動(dòng)反饋監(jiān)測(cè)機(jī)制模塊。其中最為重要的是抽取規(guī)則生成模塊，它是整個(gè)框架的驅(qū)動(dòng)基礎(chǔ)。論文著重討論了抽取規(guī)則生成模塊的相關(guān)算法實(shí)現(xiàn)。抽取規(guī)則生成的整個(gè)過(guò)程

4、分為三個(gè)階段：文檔預(yù)處理階段、主題區(qū)域定位階段和主題信息精確定位階段。在Web文檔預(yù)處理階段，首先利用HTMLParser將Web文檔轉(zhuǎn)化為DOM樹(shù)，再使用無(wú)關(guān)結(jié)點(diǎn)過(guò)濾算法，無(wú)效結(jié)點(diǎn)過(guò)濾算法對(duì)部分噪音信息進(jìn)行過(guò)濾。在主題區(qū)域定位階段，主要對(duì)主題信息所在的區(qū)域塊進(jìn)行定位，它分為兩個(gè)子階段，一是動(dòng)態(tài)區(qū)域塊定位，由于主題區(qū)域必然是動(dòng)態(tài)區(qū)域塊，所以首先利用DOM樹(shù)匹配算法計(jì)算兩個(gè)模板化文檔對(duì)應(yīng)的DOM樹(shù)最大匹配值，分離出動(dòng)態(tài)區(qū)域子樹(shù)和靜態(tài)區(qū)域子

5、樹(shù)，進(jìn)而實(shí)現(xiàn)動(dòng)態(tài)區(qū)域塊的定位;二是非主題鏈接塊過(guò)濾，首先定位出DOM樹(shù)的重復(fù)區(qū)域，然后通過(guò)統(tǒng)計(jì)重復(fù)區(qū)域鏈接文字和非鏈接文字的個(gè)數(shù)過(guò)濾非主題鏈接塊。在主題信息精確定位階段，通過(guò)分析各個(gè)主題信息的多方面的特征制定出對(duì)應(yīng)的啟發(fā)式規(guī)則，根據(jù)啟發(fā)式規(guī)則算法定位主題結(jié)點(diǎn)，并獲得主題結(jié)點(diǎn)在DOM樹(shù)中的路徑作為抽取規(guī)則。
　　 本文最后給出了模板化Web文檔的主題信息自動(dòng)抽取系統(tǒng)的主界面，同時(shí)給出了兩個(gè)新聞網(wǎng)站的信息抽取結(jié)果。另外，本文用析全率