智能信息檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、搜索引擎是一種不可缺少的信息捕獲工具,為互聯(lián)網(wǎng)用戶提供搜索服務(wù),極大提高了用戶從互聯(lián)網(wǎng)中獲取信息的速度。但是,在“大數(shù)據(jù)”時(shí)代帶來的信息量和信息資源多元化的沖擊下,搜索引擎在捕獲信息的速度和主題相關(guān)度等方面遇到了新的挑戰(zhàn)。因此,下一代搜索引擎是目前研究的一個(gè)熱點(diǎn)。
　　針對搜索引擎后臺網(wǎng)絡(luò)爬蟲從互聯(lián)網(wǎng)中抓取到信息資源時(shí),隊(duì)列對URL字符串處理能力的不足,本文設(shè)計(jì)并實(shí)現(xiàn)一種快速處理存取數(shù)據(jù)的散列算法,它能夠在真實(shí)值和鍵值之間建立一一

2、對應(yīng)的關(guān)系,快速把進(jìn)入到爬蟲隊(duì)列中的字符串?dāng)?shù)據(jù)轉(zhuǎn)化為一種線性表結(jié)構(gòu),能夠改善隊(duì)列處理字符串的能力,提高爬蟲的性能。并搭建了搜索引擎的網(wǎng)絡(luò)環(huán)境,選擇Heritrix爬蟲作為網(wǎng)絡(luò)爬蟲框架,對在爬蟲中加入散列算法進(jìn)行測試。實(shí)驗(yàn)結(jié)果證明,在加入散列算法之后的網(wǎng)絡(luò)爬蟲,搜索效率提高,抓取速度得到明顯的提升。
　　針對搜索引擎反饋信息主題相關(guān)度低下的問題,從網(wǎng)絡(luò)爬蟲入手,提高網(wǎng)絡(luò)爬蟲捕獲到頁面的主題相關(guān)度?？紤]向爬蟲中加入具備相關(guān)度判別的遺傳