基于Web的新聞信息抽取系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、因特網(wǎng)的飛速發(fā)展，使其成為迄今為止最密集、最豐富的新聞信息來(lái)源。伴隨著因特網(wǎng)的廣泛應(yīng)用，網(wǎng)絡(luò)中的新聞信息迅速地積累、膨脹，新聞信息的利用需求與要求也不斷提高。人們很難有效地利用搜索引擎來(lái)發(fā)現(xiàn)所需的Web新聞信息資源。為了解決對(duì)Web新聞信息資源的需求問(wèn)題，各大搜索引擎均推出了專門針對(duì)新聞信息的搜索服務(wù)。但是，僅僅依靠傳統(tǒng)的瀏覽器和搜索引擎很難幫助人們找到符合自己所需要的特定的新聞信息資源。新聞信息抽取系統(tǒng)的提出，有效地解決了準(zhǔn)確獲取We

2、b頁(yè)面中的新聞信息資源的難題。 本文在分析新聞網(wǎng)頁(yè)結(jié)構(gòu)的基礎(chǔ)上，提出了一種基于網(wǎng)頁(yè)文本源碼標(biāo)簽特征匹配思想，從指定Web站點(diǎn)中定時(shí)自動(dòng)抽取新聞信息的方法。該方法是以Web頁(yè)面文檔對(duì)象樣本為基礎(chǔ)，利用正則表達(dá)式表示提取信息的源碼標(biāo)簽文本特征，并以這個(gè)基本原理為基礎(chǔ)設(shè)計(jì)了一種算法來(lái)通過(guò)人機(jī)交互生成指定網(wǎng)站的新聞抽取規(guī)則，該方法將抽取的信息存放在關(guān)系數(shù)據(jù)庫(kù)中，以便支持查詢以及其他各種擴(kuò)展應(yīng)用。系統(tǒng)的執(zhí)行過(guò)程分為三個(gè)階段：信息源定制階段

3、、信息抽取階段和信息管理階段。在信息源定制階段，主要是根據(jù)指定的信息源網(wǎng)站，定義所要抽取的信息的規(guī)則，并保存在數(shù)據(jù)庫(kù)中。在信息抽取階段系統(tǒng)根據(jù)信息源定制階段產(chǎn)生的規(guī)則對(duì)與之對(duì)應(yīng)的網(wǎng)站新聞進(jìn)行信息批量抽取，并將抽取出的結(jié)果保存在關(guān)系數(shù)據(jù)庫(kù)中。信息管理階段是通過(guò)Web可視化界面對(duì)信息抽取階段的結(jié)果進(jìn)行瀏覽編輯處理等處理。基于這種抽取法的原型系統(tǒng)可直接應(yīng)用于Web查詢、網(wǎng)站監(jiān)控和搜索，也可用于其他應(yīng)用的數(shù)據(jù)準(zhǔn)備。 論文采用此方法，設(shè)計(jì)