搜索引擎設(shè)計(jì)分析與查詢改進(jìn).pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展，越來(lái)越多的人們希望通過(guò)網(wǎng)絡(luò)來(lái)獲取他們需要的信息。在這樣的需求背景下，搜索引擎技術(shù)應(yīng)運(yùn)而生，它以龐大的數(shù)據(jù)容量，快速的用戶響應(yīng)與人性化的網(wǎng)站排名贏得了人們的普遍歡迎。隨著需求的不斷改變與細(xì)化，各種各樣的搜索引擎隨之產(chǎn)生，圖片搜索引擎、新聞搜索引擎等專業(yè)搜索引擎滿足了不同專業(yè)人群的需要，基于windows與基于linux的搜索引擎滿足了多平臺(tái)作業(yè)人群的需要。 搜索引擎一般由網(wǎng)絡(luò)爬蟲(chóng)Crawler、索引器、檢索器

2、與用戶接口組成。Crawler從Web上下載頁(yè)面；索引器對(duì)下載頁(yè)面的內(nèi)容進(jìn)行分析并將文檔表示為一種便于檢索的方式存儲(chǔ)在索引數(shù)據(jù)庫(kù)中。檢索器接收用戶的查詢?cè)~并實(shí)現(xiàn)查詢?cè)~語(yǔ)目標(biāo)文檔匹配度的計(jì)算；用戶接口、提供一個(gè)搜索引擎與用戶交互的界面，它實(shí)現(xiàn)將檢索結(jié)果格式化后提交給用戶瀏覽。 本論文的主要任務(wù)是對(duì)基于linux的英文搜索引擎的改進(jìn)，該搜索引擎從設(shè)計(jì)之初以來(lái)，一直致力于如何快速高效地建立索引與提供檢索，它最大的特點(diǎn)就是網(wǎng)頁(yè)收集部分與

3、索引檢索部分相分離，這樣使得網(wǎng)頁(yè)的獲取方式多樣化而建立索引在統(tǒng)一時(shí)間進(jìn)行，進(jìn)而節(jié)省了時(shí)間又簡(jiǎn)化了操作，同時(shí)搜索引擎提供給用戶靈活的linux文本操作界面，比如用戶可以通過(guò)輸入?yún)?shù)控制查詢結(jié)果的輸出數(shù)量與風(fēng)格。本文首先簡(jiǎn)要地介紹了搜索引擎的相關(guān)技術(shù)，包括搜索引擎的體系結(jié)構(gòu)、網(wǎng)絡(luò)爬蟲(chóng)、文檔預(yù)處理、索引技術(shù)、查詢技術(shù)與排序技術(shù)。而后結(jié)合現(xiàn)有的搜索引擎源代碼，詳細(xì)介紹了搜索引擎索引與搜索兩大子系統(tǒng)，包括每個(gè)子系統(tǒng)的主要數(shù)據(jù)結(jié)構(gòu)，子系統(tǒng)的工作流程