搜索引擎研究背景以及現(xiàn)狀分析

1、搜索引擎研究背景以及現(xiàn)狀分析1研究背景2搜索引擎現(xiàn)狀分析3網(wǎng)絡(luò)爬蟲的工作原理1研究背景研究背景網(wǎng)頁是因特網(wǎng)的最主要的組成部份，也是人們獲取網(wǎng)絡(luò)信息的最主要的來源，為了方便人們?cè)诖罅糠彪s的網(wǎng)頁中找尋自己需要的信息，這類檢索工具發(fā)展的最快。一般認(rèn)為，基于網(wǎng)頁的信息檢索工具主要有網(wǎng)頁搜索引擎和網(wǎng)絡(luò)分類目錄兩種。網(wǎng)頁搜索引擎是通過“網(wǎng)絡(luò)蜘蛛”等網(wǎng)頁自動(dòng)搜尋軟件搜索到網(wǎng)頁，然后自動(dòng)給網(wǎng)頁上的某些或全部字符做上索引，形成目標(biāo)摘要格式文件以及網(wǎng)絡(luò)可訪

2、問的數(shù)據(jù)庫，供人們檢索網(wǎng)絡(luò)信息的檢索工具。網(wǎng)絡(luò)目錄則是和搜索引擎完全不同，它不會(huì)將整個(gè)網(wǎng)絡(luò)中每個(gè)網(wǎng)站的所有頁面都放進(jìn)去，而是由專業(yè)人員謹(jǐn)慎地選擇網(wǎng)站的首頁，將其放入相應(yīng)的類目中。網(wǎng)絡(luò)目錄的信息量要比搜索引擎少得多，再加上不同的網(wǎng)絡(luò)目錄分類標(biāo)準(zhǔn)有些混亂，不便人們使用，因此雖然它標(biāo)引質(zhì)量比較高，利用它的人還是要比利用搜索引擎的人少的多。但是由于網(wǎng)絡(luò)信息的復(fù)雜性和網(wǎng)絡(luò)檢索技術(shù)的限制，這類檢索工具也有著明顯的不足：①隨著網(wǎng)頁數(shù)量的迅猛增加，人工

3、無法對(duì)其進(jìn)行有效的分類、索引和利用。網(wǎng)絡(luò)用戶面對(duì)的是數(shù)量巨大的未組織信息，簡(jiǎn)單的關(guān)鍵詞搜索，返回的信息數(shù)量之大，讓用戶無法承受。②信息有用性評(píng)價(jià)困難。一些站點(diǎn)在網(wǎng)頁中大量重復(fù)某些關(guān)鍵字，使得容易被某些著名的搜索引擎選中，以期借此提高站點(diǎn)的地位但事實(shí)上卻可能沒有提供任何對(duì)用戶有價(jià)值的信息。③網(wǎng)絡(luò)信息日新月異的變更，人們總是期望挑出最新的信息。然而網(wǎng)絡(luò)信息時(shí)刻變動(dòng)，實(shí)時(shí)搜索幾乎不可能，就是剛剛瀏覽過的網(wǎng)頁也隨時(shí)都有更新、過期、刪除的可能。網(wǎng)

4、絡(luò)信息檢索工具的發(fā)展主要體現(xiàn)在進(jìn)一步改進(jìn)、完善檢索工具和檢索技術(shù)，以提高檢索服務(wù)質(zhì)量，改變網(wǎng)絡(luò)信息檢索不盡如意的地方。目前雖然有很有的搜索引擎對(duì)于用戶所提出的查詢要求僅限于關(guān)鍵詞的簡(jiǎn)單邏輯組合，搜索結(jié)果重視的是返回的數(shù)量而不是質(zhì)量，在結(jié)果文檔的組織和分類上也有所欠缺。網(wǎng)絡(luò)爬蟲的效率，直接關(guān)系到搜索引擎系統(tǒng)為用戶提的供服務(wù)質(zhì)量。如何設(shè)計(jì)高效、快速的網(wǎng)絡(luò)爬蟲，成為目前網(wǎng)絡(luò)爬蟲研究的熱點(diǎn)。要提高網(wǎng)絡(luò)爬蟲的爬行效率，除了需要改進(jìn)網(wǎng)絡(luò)爬蟲的爬行策

5、略之外，還需要優(yōu)化網(wǎng)絡(luò)爬自身的設(shè)計(jì)，改進(jìn)網(wǎng)絡(luò)爬蟲自身的結(jié)構(gòu)，消除效率瓶頸。通過對(duì)網(wǎng)絡(luò)爬蟲結(jié)構(gòu)、應(yīng)用環(huán)境以及用戶要求的分析，提出一個(gè)通用網(wǎng)絡(luò)爬蟲的改進(jìn)設(shè)計(jì)方案，并通過實(shí)驗(yàn)得到較好的測(cè)試結(jié)果。國(guó)外的一次調(diào)查結(jié)果顯示，約有71％的人對(duì)搜索的結(jié)果感到不同程度的失望。因此，如何提高搜索引擎的智能化程度，如何按照知識(shí)應(yīng)用的需要來組織信息，使互聯(lián)網(wǎng)不僅提供信息服務(wù)，而且能為用戶提供知識(shí)服務(wù)，將成為計(jì)算機(jī)工業(yè)界和學(xué)術(shù)界有待研究的方向。2搜索引擎現(xiàn)狀分析

6、互聯(lián)網(wǎng)被普及前，人們查閱資料首先想到的便是擁有大量書籍的圖書館，而在當(dāng)今很多人都會(huì)選擇一種更方便、快捷、全面、準(zhǔn)確的方式——互聯(lián)網(wǎng)。如果說互聯(lián)網(wǎng)是一個(gè)知識(shí)寶庫，那么搜索引擎就是打開知識(shí)寶庫的一把鑰匙。搜索引擎是隨著WEB信息的迅速增加，從1995年開始逐漸發(fā)展起來的技術(shù)，用于幫助互聯(lián)網(wǎng)用戶查詢信息的搜索工具。搜索引擎以一定的策略在互聯(lián)網(wǎng)中搜集、發(fā)現(xiàn)信息，對(duì)信息進(jìn)行理解、提取、組織和處理，并為用戶提供檢索服務(wù)，從而起到信息導(dǎo)航的目的。目前

7、搜索引擎已經(jīng)成為倍受網(wǎng)絡(luò)用戶關(guān)注的焦點(diǎn)，也成為計(jì)算機(jī)工業(yè)界和學(xué)術(shù)界爭(zhēng)相研究、開發(fā)的對(duì)象?；ヂ?lián)網(wǎng)的開放性和其上信息廣泛的可訪問性極大的激勵(lì)了人們創(chuàng)作的積極性。在短短的十幾年間，人類至少在萬維網(wǎng)上發(fā)布了40億條的網(wǎng)頁，并且現(xiàn)在每天都有數(shù)以萬計(jì)的數(shù)量增長(zhǎng)。由于網(wǎng)絡(luò)上的資源與生俱來的數(shù)字化、網(wǎng)絡(luò)化，這些特性成為了網(wǎng)絡(luò)信息的雙刃劍：一方面便于我們搜集整理，另一方面也會(huì)使我們感到太多蜂擁而至，無所適從。而搜索引擎的由來要追溯到1990年加拿大的麥吉