基于Hadoop的搜索引擎關(guān)鍵技術(shù)研究.pdf

1、隨著社會(huì)信息化程度不斷提高，各行各業(yè)與網(wǎng)絡(luò)的聯(lián)系越來(lái)越緊密，由此而產(chǎn)生的網(wǎng)絡(luò)信息每天都以指數(shù)級(jí)增長(zhǎng)。在海量的網(wǎng)絡(luò)信息資源中，通用搜索引擎的檢索結(jié)果出現(xiàn)雜、亂、多的現(xiàn)象，快速并且精確地找到用戶所需的信息因此變得日益困難。通用搜索引擎對(duì)搜索數(shù)據(jù)的排序展示都受到商業(yè)影響同時(shí)也有搜索結(jié)果網(wǎng)頁(yè)數(shù)據(jù)量大，無(wú)法體現(xiàn)關(guān)鍵字專業(yè)性的缺陷。由此針對(duì)特定行業(yè)特定需求的垂直搜索引擎應(yīng)運(yùn)而生，但大多數(shù)中小型企業(yè)并非互聯(lián)網(wǎng)公司，沒(méi)有人力和時(shí)間像百度谷歌那樣做出高效

2、的搜索產(chǎn)品，同時(shí)互聯(lián)網(wǎng)通用搜索引擎也不能完全滿足企業(yè)的搜索要求，存在信息無(wú)法及時(shí)檢索到，企業(yè)內(nèi)部信息出于安全考慮也不能交給通用搜索引擎爬取數(shù)據(jù)。因此如何為那些具備一定的數(shù)據(jù)集，但開(kāi)發(fā)能力較弱的中小型企業(yè)提供高效的搜索計(jì)算服務(wù)，使其擺脫“信息迷航”和“信息過(guò)載”帶來(lái)的困擾，成為搜索領(lǐng)域研究的熱點(diǎn)和難點(diǎn)。本文首先介紹了搜索引擎的發(fā)展歷史，和比較流行的開(kāi)源搜索引擎組件Hadoop,Nutch 和 Solr。然后深入研究了網(wǎng)頁(yè)鏈接排序算法 Pa

3、geRank，在分析了傳統(tǒng)PageRank算法的代數(shù)原理和分布式實(shí)現(xiàn)后，針對(duì)其平均分配權(quán)值的缺陷，本文提出了一種結(jié)合網(wǎng)頁(yè)本體內(nèi)容和鏈接關(guān)系的PR轉(zhuǎn)移概率分配策略。之后詳細(xì)介紹了分布式爬蟲(chóng)Nutch的內(nèi)部結(jié)構(gòu)和功能模塊后，將其與Hadoop平臺(tái)結(jié)合通過(guò)MapReduce的方式完成網(wǎng)絡(luò)數(shù)據(jù)的并發(fā)下載，具有爬取速度快，爬取網(wǎng)頁(yè)量大的特點(diǎn)。數(shù)據(jù)檢索和數(shù)據(jù)索引是搜索引擎的重要部分，其性能直接影響到企業(yè)的數(shù)據(jù)處理量和用戶體驗(yàn)。Solr 作為封裝了

4、Lucene 的搜索接口具有很好的搜索和索引能力，在介紹了 solr 的架構(gòu)和特點(diǎn)后，設(shè)計(jì)了一種分布式的集群框架，利用 Solr 作為檢索工具，具有可擴(kuò)展能力和容錯(cuò)能力強(qiáng)，能處理海量檢索請(qǐng)求等優(yōu)勢(shì)，實(shí)現(xiàn)了分布式垂直搜索引擎雛形。通過(guò)實(shí)驗(yàn)對(duì)比單機(jī)搜索，證明在網(wǎng)頁(yè)數(shù)據(jù)達(dá)到兩萬(wàn)甚至更高時(shí)，分布式搜索在數(shù)據(jù)爬取，數(shù)據(jù)索引和數(shù)據(jù)檢索上消耗的時(shí)間大大小于單機(jī)搜索時(shí)的時(shí)間消耗，在將搜索結(jié)果結(jié)合改進(jìn)的PageRank 算法和向量空間模型算法進(jìn)行網(wǎng)頁(yè)打分