基于Nutch的分布式搜索引擎的研究與優(yōu)化.pdf

1、云計(jì)算已發(fā)展成為目前計(jì)算機(jī)產(chǎn)業(yè)界和學(xué)術(shù)界關(guān)注的熱點(diǎn)之一，Hadoop，作為當(dāng)今最流行的云計(jì)算平臺(tái)，也得到了越來(lái)越廣泛的應(yīng)用。與此同時(shí)，開(kāi)放源代碼搜索引擎包Nutch不僅能提供搜索引擎所需要的工具，還具有極好的擴(kuò)展性，越來(lái)越多的學(xué)者圍繞Hadoop和Nutch的結(jié)合展開(kāi)研究，力圖通過(guò)各種途徑來(lái)提高分布式搜索的性能，本文正是在這些學(xué)者的研究成果上，開(kāi)展了基于Nutch和Hadoop的分布式搜索引擎的研究和優(yōu)化等相關(guān)工作。
　　 本文

2、具體研究工作包括:Nutch框架、Hadoop分布式平臺(tái)和分布式爬蟲(chóng)原理三個(gè)方面。首先，對(duì)Nutch框架和Hadoop分布式平臺(tái)進(jìn)行了分析和研究，仔細(xì)剖析了其架構(gòu)及主要工作原理，如索引機(jī)制、插件機(jī)制、HDFS，Map/Reduce等核心技術(shù)。接著重點(diǎn)研究了爬蟲(chóng)技術(shù)，特別是分布式爬蟲(chóng)技術(shù)，通過(guò)分析和研究現(xiàn)有的基于Nutch的爬取機(jī)制，從改變數(shù)據(jù)結(jié)構(gòu)入手，在任務(wù)分配算法中引入可擴(kuò)展的哈希函數(shù)，從而解決了原有算法中負(fù)載均衡性和算法低效率的問(wèn)題

3、。
　　 在上述研究工作的基礎(chǔ)上，本文設(shè)計(jì)了基于Nutch和Hadoop的分布式搜索系統(tǒng)，在所設(shè)計(jì)系統(tǒng)的索引模塊中采用了可擴(kuò)展的hash函數(shù)，在索引和搜索模塊中利用Nutch的可擴(kuò)展性，通過(guò)引入中科院的漢語(yǔ)詞法分析系統(tǒng)ICTCLAS，有效地改進(jìn)了Nutch對(duì)中文的支持力。
　　 最后，本文對(duì)所設(shè)計(jì)的搜索系統(tǒng)，在實(shí)驗(yàn)室構(gòu)建的集群基礎(chǔ)上，從多個(gè)角度進(jìn)行了功能測(cè)試、性能測(cè)試和綜合評(píng)估，測(cè)試結(jié)果不僅驗(yàn)證了所設(shè)計(jì)的系統(tǒng)的可行性和可