基于java技術(shù)的搜索引擎的研究與實(shí)現(xiàn)42971

1、摘要網(wǎng)絡(luò)中的資源非常豐富，但是如何有效的搜索信息卻是一件困難的事情。建立搜索引擎就是解決這個(gè)問題的最好方法。本文首先詳細(xì)介紹了基于英特網(wǎng)的搜索引擎的系統(tǒng)結(jié)構(gòu)，然后從網(wǎng)絡(luò)機(jī)器人、索引引擎、Web服務(wù)器三個(gè)方面進(jìn)行詳細(xì)的說明。為了更加深刻的理解這種技術(shù)，本人還親自實(shí)現(xiàn)了一個(gè)自己的搜索引擎——新聞搜索引擎。新聞搜索引擎是從指定的Web頁(yè)面中按照超連接進(jìn)行解析、搜索，并把搜索到的每條新聞進(jìn)行索引后加入數(shù)據(jù)庫(kù)。然后通過Web服務(wù)器接受客戶端請(qǐng)求后

2、從索引數(shù)據(jù)庫(kù)中搜索出所匹配的新聞。本人在介紹搜索引擎的章節(jié)中除了詳細(xì)的闡述技術(shù)核心外還結(jié)合了新聞搜索引擎的實(shí)現(xiàn)代碼來說明，圖文并茂、易于理解。AbstractTheresourcesintheinterareabundantbutitisadifficultjobtosearchsomeusefulinfmation.Soasearchengineisthebestmethodtosolvethisproblem.Thisarticle

3、fistintroducesthesystemstructureofsearchenginebasedontheinterindetailthengivesaminuteexplanationfmSpidersearchenginewebserver.IndertounderstthetechnologymedeeplyIhaveprogrammedanewssearchenginebymyself.Thenewssearchengin

4、eisexplainedsearchedaccdingtohyperlinkfromaappointedwebpagethenindexseverysearchedinfmationaddsittotheindexdatabase.ThenafterreceivingthecustomersrequestsfromthewebserveritsoonsearchstherightnewsfmtheindexengineInthechap

5、terofintroducingsearchengineitisnotonlyelabatethecetechnologybutalsocombinewiththemoderncodepicturesincludedeasytounderst.第一章引言面對(duì)浩瀚的網(wǎng)絡(luò)資源，搜索引擎為所有網(wǎng)上沖浪的用戶提供了一個(gè)入口，毫不夸張的說，所有的用戶都可以從搜索出發(fā)到達(dá)自己想去的網(wǎng)上任何一個(gè)地方。因此它也成為除了電子系統(tǒng)結(jié)構(gòu)圖2.2搜索引擎的構(gòu)成

6、2.2.1網(wǎng)絡(luò)機(jī)器人網(wǎng)絡(luò)機(jī)器人也稱為“網(wǎng)絡(luò)蜘蛛”(Spider)，是一個(gè)功能很強(qiáng)的WEB掃描程序。它可以在掃描WEB頁(yè)面的同時(shí)檢索其內(nèi)的超鏈接并加入掃描隊(duì)列等待以后掃描。因?yàn)閃EB中廣泛使用超鏈接，所以一個(gè)Spider程序理論上可以訪問整個(gè)WEB頁(yè)面。為了保證網(wǎng)絡(luò)機(jī)器人遍歷信息的廣度和深度需要設(shè)定一些重要的鏈接并制定相關(guān)的掃描策略。2.2.2索引與搜索網(wǎng)絡(luò)機(jī)器人將遍歷得到的頁(yè)面存放在臨時(shí)數(shù)據(jù)庫(kù)中，如果通過SQL直接查詢信息速度將會(huì)難以忍

7、受。為了提高檢索效率，需要建立索引，按照倒排文件的格式存放。如果索引不及時(shí)跟新的話，用戶用搜索引擎也不能檢索到。用戶輸入搜索條件后搜索程序?qū)⑼ㄟ^索引數(shù)據(jù)庫(kù)進(jìn)行檢索然后把符合查詢要求的數(shù)據(jù)庫(kù)按照一定的策略進(jìn)行分級(jí)排列并且返回給用戶。2.2.3Web服務(wù)器客戶一般通過瀏覽器進(jìn)行查詢，這就需要系統(tǒng)提供Web服務(wù)器并且與索引數(shù)據(jù)庫(kù)進(jìn)行連接?？蛻粼跒g覽器中輸入查詢條件，Web服務(wù)器接收到客戶的查詢條件后在索引數(shù)據(jù)庫(kù)中進(jìn)行查詢、排列然后返回給客戶端