基于模板的Web新聞搜索技術的研究與實現(xiàn).pdf

1、在信息時代，資訊就是生產力。要從浩如煙海的互聯(lián)網上找到自己關注的新聞資訊，必須借助搜素引擎的幫助。目前市場上有著多種通用Web新聞搜索引擎，比如谷歌新聞、百度資訊等，但是它們都無法滿足企業(yè)級的定制新聞搜索需求。本課題的研究目標是建立一個以Web新聞搜索引擎為核心，支持新聞搜索、處理和存檔的企業(yè)級集成工作平臺，實現(xiàn)面向特定領域的高效、全面、準確和可靠的定制型Web新聞搜索。定制型Web新聞搜索引擎處理信息量遠小于通用型搜索引擎，因此可以以

2、更快的速度、更精確的匹配算法獲取新聞，并抽取出來自異構數(shù)據源的新聞正文，轉換為統(tǒng)一格式，方便用戶使用。在本文中，我們首先分析了目前國內外的主要Web新聞搜索技術，結合定制型Web新聞搜索的實際需求，研究了基于模板的分布式Web新聞搜索的兩個關鍵技術：1)網絡爬蟲的分布式架構和多爬蟲間的動態(tài)任務分發(fā)。我們設計并實現(xiàn)了多爬蟲和單協(xié)調服務器組成的分布式搜索引擎架構，各個爬蟲從協(xié)調服務器領取任務，再將完成的搜索結果集中到協(xié)調服務器。同時我們針對

3、協(xié)調服務器上的任務分發(fā)，提出了基于歷史數(shù)據的最短耗時分發(fā)算法，使分布式系統(tǒng)整體完成搜索任務的耗時最少。2)基于模板的Web新聞正文抽取技術。為了高效準確地從新聞網頁中抽取出新聞正文內容，我們基于模板技術，設計并實現(xiàn)了新聞網站模板標簽的自動檢測和基于該模板標簽的新聞正文內容自動抽取。該新聞正文內容抽取算法的時間復雜度達到了O(n)，能自動化完成模板標簽的構建和Web新聞正文內容的抽取。然后，在關鍵技術研究的基礎上，我們結合咨詢公司w公司的

4、實際業(yè)務需求，基于UML技術完成了定制型Web新聞搜索引擎的詳細需求分析和架構設計，包括用例模型、靜態(tài)邏輯模型和動態(tài)邏輯模型，并采用.Net技術和PostgreSql數(shù)據庫實現(xiàn)了一個新聞搜索平臺，通過了功能測試和性能測試。目前，該平臺已在企業(yè)中進行了試用，能較好地滿足其業(yè)務需求，每天用5個爬蟲在4.5小時中搜索到3萬條符合關鍵字的新聞；查全率為92%，高于谷歌資訊的38.15%和百度資訊的19.2%；準確率90.5%，高于w公司原有工具