基于模板的web新聞搜索技術(shù)的研究與實(shí)現(xiàn)

1、申請(qǐng)上海交通大學(xué)工程碩士學(xué)位論文基于模板的基于模板的Web新聞搜索技術(shù)的研究與實(shí)現(xiàn)新聞搜索技術(shù)的研究與實(shí)現(xiàn)學(xué)校代碼：10248作者姓名：林子熠學(xué)號(hào)：1070379101第一導(dǎo)師：沈備軍第二導(dǎo)師：學(xué)科專業(yè)：軟件工程答辯日期：2010年1月12日上海交通大學(xué)軟件學(xué)院2009年11月I基于模板的Web新聞搜索技術(shù)的研究與實(shí)現(xiàn)基于模板的Web新聞搜索技術(shù)的研究與實(shí)現(xiàn)摘要在信息時(shí)代，資訊就是生產(chǎn)力。要從浩如煙海的互聯(lián)網(wǎng)上找到自己關(guān)注的新聞資訊，必

2、須借助搜素引擎的幫助。目前市場(chǎng)上有著多種通用Web新聞搜索引擎，比如谷歌新聞、百度資訊等，但是它們都無法滿足企業(yè)級(jí)的定制新聞搜索需求。本課題的研究目標(biāo)是建立一個(gè)以Web新聞搜索引擎為核心，支持新聞搜索、處理和存檔的企業(yè)級(jí)集成工作平臺(tái)，實(shí)現(xiàn)面向特定領(lǐng)域的高效、全面、準(zhǔn)確和可靠的定制型Web新聞搜索。定制型Web新聞搜索引擎處理信息量遠(yuǎn)小于通用型搜索引擎，因此可以以更快的速度、更精確的匹配算法獲取新聞，并抽取出來自異構(gòu)數(shù)據(jù)源的新聞?wù)?，轉(zhuǎn)換

3、為統(tǒng)一格式，方便用戶使用。在本文中，我們首先分析了目前國(guó)內(nèi)外的主要Web新聞搜索技術(shù)，結(jié)合定制型Web新聞搜索的實(shí)際需求，研究了基于模板的分布式Web新聞搜索的兩個(gè)關(guān)鍵技術(shù)：1）網(wǎng)絡(luò)爬蟲的分布式架構(gòu)和多爬蟲間的動(dòng)態(tài)任務(wù)分發(fā)。我們?cè)O(shè)計(jì)并實(shí)現(xiàn)了多爬蟲和單協(xié)調(diào)服務(wù)器組成的分布式搜索引擎架構(gòu)，各個(gè)爬蟲從協(xié)調(diào)服務(wù)器領(lǐng)取任務(wù)，再將完成的搜索結(jié)果集中到協(xié)調(diào)服務(wù)器。同時(shí)我們針對(duì)協(xié)調(diào)服務(wù)器上的任務(wù)分發(fā)，提出了基于歷史數(shù)據(jù)的最短耗時(shí)分發(fā)算法，使分布式系統(tǒng)整

4、體完成搜索任務(wù)的耗時(shí)最少。2）基于模板的Web新聞?wù)某槿〖夹g(shù)。為了高效準(zhǔn)確地從新聞網(wǎng)頁(yè)中抽取出新聞?wù)膬?nèi)容，我們基于模板技術(shù)，設(shè)計(jì)并實(shí)現(xiàn)了新聞網(wǎng)站模板標(biāo)簽的自動(dòng)檢測(cè)和基于該模板標(biāo)簽的新聞?wù)膬?nèi)容自動(dòng)抽取。該新聞?wù)膬?nèi)容抽取算法的時(shí)間復(fù)雜度達(dá)到了O(n)，能自動(dòng)化完成模板標(biāo)簽的構(gòu)建和Web新聞?wù)膬?nèi)容的抽取。然后，在關(guān)鍵技術(shù)研究的基礎(chǔ)上，我們結(jié)合咨詢公司w公司的實(shí)際業(yè)務(wù)需求，基于UML技術(shù)完成了定制型Web新聞搜索引擎的詳細(xì)需求分析和架