基于模板的Web新聞搜索技術(shù)的研究與實(shí)現(xiàn).pdf

1、在信息時代，資訊就是生產(chǎn)力。要從浩如煙海的互聯(lián)網(wǎng)上找到自己關(guān)注的新聞資訊，必須借助搜素引擎的幫助。目前市場上有著多種通用Web新聞搜索引擎，比如谷歌新聞、百度資訊等，但是它們都無法滿足企業(yè)級的定制新聞搜索需求。本課題的研究目標(biāo)是建立一個以Web新聞搜索引擎為核心，支持新聞搜索、處理和存檔的企業(yè)級集成工作平臺，實(shí)現(xiàn)面向特定領(lǐng)域的高效、全面、準(zhǔn)確和可靠的定制型Web新聞搜索。定制型Web新聞搜索引擎處理信息量遠(yuǎn)小于通用型搜索引擎，因此可以以

2、更快的速度、更精確的匹配算法獲取新聞，并抽取出來自異構(gòu)數(shù)據(jù)源的新聞?wù)?，轉(zhuǎn)換為統(tǒng)一格式，方便用戶使用。在本文中，我們首先分析了目前國內(nèi)外的主要Web新聞搜索技術(shù)，結(jié)合定制型Web新聞搜索的實(shí)際需求，研究了基于模板的分布式Web新聞搜索的兩個關(guān)鍵技術(shù)：1)網(wǎng)絡(luò)爬蟲的分布式架構(gòu)和多爬蟲間的動態(tài)任務(wù)分發(fā)。我們設(shè)計(jì)并實(shí)現(xiàn)了多爬蟲和單協(xié)調(diào)服務(wù)器組成的分布式搜索引擎架構(gòu)，各個爬蟲從協(xié)調(diào)服務(wù)器領(lǐng)取任務(wù)，再將完成的搜索結(jié)果集中到協(xié)調(diào)服務(wù)器。同時我們針對

3、協(xié)調(diào)服務(wù)器上的任務(wù)分發(fā)，提出了基于歷史數(shù)據(jù)的最短耗時分發(fā)算法，使分布式系統(tǒng)整體完成搜索任務(wù)的耗時最少。2)基于模板的Web新聞?wù)某槿〖夹g(shù)。為了高效準(zhǔn)確地從新聞網(wǎng)頁中抽取出新聞?wù)膬?nèi)容，我們基于模板技術(shù)，設(shè)計(jì)并實(shí)現(xiàn)了新聞網(wǎng)站模板標(biāo)簽的自動檢測和基于該模板標(biāo)簽的新聞?wù)膬?nèi)容自動抽取。該新聞?wù)膬?nèi)容抽取算法的時間復(fù)雜度達(dá)到了O(n)，能自動化完成模板標(biāo)簽的構(gòu)建和Web新聞?wù)膬?nèi)容的抽取。然后，在關(guān)鍵技術(shù)研究的基礎(chǔ)上，我們結(jié)合咨詢公司w公司的

4、實(shí)際業(yè)務(wù)需求，基于UML技術(shù)完成了定制型Web新聞搜索引擎的詳細(xì)需求分析和架構(gòu)設(shè)計(jì)，包括用例模型、靜態(tài)邏輯模型和動態(tài)邏輯模型，并采用.Net技術(shù)和PostgreSql數(shù)據(jù)庫實(shí)現(xiàn)了一個新聞搜索平臺，通過了功能測試和性能測試。目前，該平臺已在企業(yè)中進(jìn)行了試用，能較好地滿足其業(yè)務(wù)需求，每天用5個爬蟲在4.5小時中搜索到3萬條符合關(guān)鍵字的新聞；查全率為92%，高于谷歌資訊的38.15%和百度資訊的19.2%；準(zhǔn)確率90.5%，高于w公司原有工具