基于Hadoop的垂直搜索引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)信息呈現(xiàn)爆炸式地更新和增長(zhǎng)，各式各樣的搜索引擎逐漸進(jìn)入了大眾的視野。面對(duì)海量數(shù)據(jù)，傳統(tǒng)的集中式搜索引擎存在服務(wù)器負(fù)載強(qiáng)度大、系統(tǒng)不夠穩(wěn)定且工作效率低等性能瓶頸。通用式搜索引擎也存在檢索范圍廣，檢索結(jié)果不專業(yè)、不準(zhǔn)確的缺點(diǎn)，顯然不符合特定領(lǐng)域下信息檢索的需求。
　　基于上述問題，本文提出了一種基于Hadoop的垂直搜索引擎系統(tǒng)。該系統(tǒng)搭建了一個(gè)Hadoop云計(jì)算平臺(tái)，完成文件的分布式存儲(chǔ)和數(shù)據(jù)的并行處理

2、。在分布式集群環(huán)境中結(jié)合MapReduce編程模型，實(shí)現(xiàn)搜索引擎的各功能模塊。在高效處理數(shù)據(jù)的同時(shí)，保證了數(shù)據(jù)的安全存儲(chǔ)和系統(tǒng)的穩(wěn)定運(yùn)行。另外，本文為該系統(tǒng)的網(wǎng)頁信息抓取模塊設(shè)計(jì)了一個(gè)面向主題的網(wǎng)絡(luò)爬蟲算法VPCRAW用以抓取與主題相關(guān)的網(wǎng)頁信息。該算法綜合了VSM算法和PageRank算法的優(yōu)勢(shì)，兼顧網(wǎng)頁內(nèi)容相關(guān)性和鏈接權(quán)威性，真正做到了網(wǎng)頁信息的垂直抓取，為后續(xù)模塊提供更為專業(yè)的源文件，從而提高最終檢索結(jié)果的準(zhǔn)確率。
　　實(shí)驗(yàn)