基于ProActive的分布式并行網(wǎng)頁索引器的研究.pdf

1、搜索引擎是人們檢索互聯(lián)網(wǎng)信息的一個(gè)重要工具。它由爬行器、索引器、查詢器等3個(gè)部分組成。網(wǎng)頁索引器是建立搜索引擎的一個(gè)關(guān)鍵組成部分，它負(fù)責(zé)對(duì)網(wǎng)頁爬行器抓取下來的網(wǎng)頁進(jìn)行索引。目前商業(yè)搜索引擎大部分采用倒排索引模型。由于現(xiàn)在的網(wǎng)頁數(shù)據(jù)是海量數(shù)據(jù)，對(duì)它們建立倒排索引是一個(gè)十分耗時(shí)的計(jì)算。另一方面，網(wǎng)頁內(nèi)容是不斷更新，需要周期性的爬行互聯(lián)網(wǎng)并重建倒排索引。串行倒排索引算法難以滿足海量級(jí)網(wǎng)頁數(shù)據(jù)的快速索引要求。由PC機(jī)構(gòu)成的異構(gòu)機(jī)群計(jì)算系統(tǒng)具有高

2、性能、低成本、可擴(kuò)展性好和易于實(shí)現(xiàn)等特點(diǎn)，因此，在異構(gòu)機(jī)群計(jì)算系統(tǒng)上，設(shè)計(jì)出高效、實(shí)用的建立網(wǎng)頁倒排索引的并行算法，實(shí)現(xiàn)一個(gè)分布式并行網(wǎng)頁索引器，對(duì)于建立高性能的搜索引擎有重要的意義。
　　 針對(duì)建立網(wǎng)頁集倒排索引的串行算法完成時(shí)間長的不足，根據(jù)歸并排序的性質(zhì)滿足可分負(fù)載理論的特性，提出一個(gè)基于三元組排序一歸并的分布式并行算法。將解析出來的術(shù)語用一個(gè)三元組表示，分布式并行處理網(wǎng)頁中術(shù)語的解析和術(shù)語記錄三元組的多步歸并排序計(jì)算兩步

3、。在機(jī)群計(jì)算系統(tǒng)上，應(yīng)用基于Java的分布式并行計(jì)算中間件ProActiVe，設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)基于該并行算法的名為P_Indexer的分布式并行網(wǎng)頁索引器。算法分析和實(shí)驗(yàn)結(jié)果表明，該并行算法有較高的效率性和可擴(kuò)展性。
　　 針對(duì)異構(gòu)機(jī)群系統(tǒng)中從處理機(jī)節(jié)點(diǎn)具有不同的計(jì)算能力、通信速率的情形，考慮通信啟動(dòng)開銷和傳輸數(shù)據(jù)時(shí)間，根據(jù)基于三元組排序一歸并的建立網(wǎng)頁倒排索引的并行算法滿足可分負(fù)載理論的特性，提出一個(gè)建立網(wǎng)頁倒排索引的并行算法