基于Hadoop的分布式搜索引擎研究與實(shí)現(xiàn).pdf

1、分布式搜索引擎是一種結(jié)合了分布式計(jì)算技術(shù)和全文檢索技術(shù)的新型信息檢索系統(tǒng)。它改變了人們獲取信息的途徑，讓人們更有效地獲取信息，現(xiàn)在它已經(jīng)深入到網(wǎng)絡(luò)生活的每一方面，被譽(yù)為上網(wǎng)第一站。
　　 目前的搜索引擎系統(tǒng)大多都擁有同樣的結(jié)構(gòu)——集中式結(jié)構(gòu)，即系統(tǒng)所有功能模塊集中部署在一臺(tái)服務(wù)器上，這直接導(dǎo)致了系統(tǒng)對(duì)服務(wù)器硬件性能要求較高，同時(shí)，系統(tǒng)還有穩(wěn)定性差、可擴(kuò)展性不高的弊端。為了克服以上弊端就必須采購(gòu)極為昂貴的大型服務(wù)器來(lái)滿足系統(tǒng)需求，

2、然而并不是所有人都有能力負(fù)擔(dān)這樣高昂的費(fèi)用。此外，在傳統(tǒng)的信息檢索系統(tǒng)中，許多都采用了比較原始的字符串匹配方式來(lái)獲得搜索結(jié)果，這種搜索方式雖然實(shí)現(xiàn)簡(jiǎn)單，但在數(shù)據(jù)量比較大時(shí)，搜索效率非常低，導(dǎo)致用戶無(wú)法及時(shí)獲得有效信息。以上這兩個(gè)缺點(diǎn)給搜索引擎的推廣帶來(lái)了很大的挑戰(zhàn)。為應(yīng)對(duì)這個(gè)挑戰(zhàn)，在搜索引擎系統(tǒng)中引入了分布式計(jì)算和倒排文檔全文檢索技術(shù)。
　　 本文在分析當(dāng)前幾種分布式搜索引擎系統(tǒng)的基礎(chǔ)上，總結(jié)了現(xiàn)有系統(tǒng)的優(yōu)缺點(diǎn)，針對(duì)現(xiàn)有系統(tǒng)的不

3、足，提出了基于Hadoop的分布式搜索引擎。主要研究工作在于對(duì)傳統(tǒng)搜索引擎的功能模塊加以改進(jìn)，對(duì)爬行、索引、搜索過(guò)程中的步驟進(jìn)行詳細(xì)分析，將非順序執(zhí)行的步驟進(jìn)一步分解為兩部分：數(shù)據(jù)計(jì)算和數(shù)據(jù)合并。同時(shí)，應(yīng)用Map/Reduce編程模型思想，把數(shù)據(jù)計(jì)算任務(wù)封裝到Map函數(shù)中，把數(shù)據(jù)合并任務(wù)封裝到Reduce 函數(shù)中。經(jīng)過(guò)以上改進(jìn)的搜索引擎系統(tǒng)可以部署在廉價(jià)PC構(gòu)成的Hadoop分布式環(huán)境中，并具有較高的響應(yīng)速度、可靠性和擴(kuò)展性。這與分布式