基于分布式的搜索引擎框架研究和實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術的飛速發(fā)展，網(wǎng)絡中的信息也是呈幾何級數(shù)爆炸增長，人們查閱資料已不是依靠有限范圍內的網(wǎng)站來尋找，而是依靠搜索引擎對信息海洋中的海量數(shù)據(jù)進行訪問了。搜索引擎也越來越普遍應用到各個層面中，大到整個互聯(lián)網(wǎng)絡的搜索，小到本地文件的搜索，本文正是基于搜索引擎的普遍化，設計并實現(xiàn)了一個分布式的搜索引擎框架，能夠應用于不同的搜索方案。 本文首先介紹了 KM 分布式系統(tǒng)所使用到的工具包，并且分析了其中的一些原理和實現(xiàn)機制。隨后重點介

2、紹了Hadoop分布式編程框架的原理。KM分布式搜索框架是基于Hadoop實現(xiàn)的，所以它具有非常好的可擴展性。使用Map/Reduce技術能夠高效而穩(wěn)定的運行分布式的任務。本文還詳細探討了信息抓取模塊中負責訪問網(wǎng)絡部分的效率分析，采用 DNS 預轉換的方式加速網(wǎng)絡爬蟲的訪問速度。采用運行在每一個節(jié)點上的分布式搜索服務器，能夠提供每個分布式節(jié)點中的索引數(shù)據(jù)的搜索能力。重點闡述了 KM 分布式搜索系統(tǒng)框架的實現(xiàn)。不僅給出了系統(tǒng)各模塊之間的關