基于Hadoop的搜索引擎的研究與應用.pdf

1、隨著網絡信息技術的大規(guī)模普及，用戶對于信息檢索的要求日益嚴格。實現快速、準確且全面的信息搜索能為各類機構獲得較高的客戶滿意度和良好的商業(yè)效益。由于技術和經濟實力受限，大多數中小型機構難以像大型機構那樣根據用戶需求實現專有的高效搜索體系，也難以結合中小型機構自身的需求作進一步的個性化設計。因此如何有效利用現有搜索引擎巨頭的技術，為更多機構，尤其是具備一定數據集，但經濟承載力較小、核心開發(fā)能力較弱的中小型企業(yè)、高校及科研機構等提供強大的搜索

2、計算技術和多樣化服務，成為當前搜索領域的研究重點和難點。
　　本文結合實際應用需求，研究基于Hadoop的分布式搜索引擎原理、相關技術和算法，深入剖析分布式計算框架MapReduce和分布式文件系統HDFS，引入MapReduce編程模型的具體設計方案，將BM25排序模型集成于Lucene實現檢索評分，采用Paoding分詞器做中文分詞處理，完成了系統在Hadoop平臺的架構設計，確定了系統功能劃分，分析并設計爬行、索引和檢索流程

3、，完成了三個子系統的改進與實現。
　　在分析、評價和總結中小型機構實現信息高效搜索的需求和現存弊端的基礎之上，本文集成三個相對獨立的子系統的設計與實現，完成了Hadoop框架搭建和相關配置，部署實現了3個節(jié)點的分布式搜索引擎系統。最后從中小型機構用戶的搜索需求出發(fā)，對本系統性能進行測試與評價。具體以浙江理工大學網站作為實驗對象，在三節(jié)點的分布式平臺與單機環(huán)境下考察系統進行網頁爬取和索引的效率。爬行和索引用時計算結果表明，對于200

4、00個網頁，集群用時相比單機節(jié)省約15.64％。隨著網頁數量的增加，該差異逐漸擴大。同時通過比較不同網頁數對應的檢索結果匹配度，計算得出基于Hadoop的分布式搜索引擎系統檢索的平均準確率較單機環(huán)境提升了近20％。實驗結果表明，在機構網頁量增加到一定程度后，該面向中小型機構的分布式搜索引擎系統較傳統集中式搜索引擎能更快速獲取用戶需要的更加精準的檢索結果且系統安全穩(wěn)定性和可擴展性得到提升，從而改善了中小型機構信息檢索效能，加快其信息化程度