聚合文檔搜索引擎的研究與實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)博客的流行，一種內(nèi)容聚合技術(shù)RSS技術(shù)迅速發(fā)展起來(lái)，并在許多領(lǐng)域得到廣泛應(yīng)用。RSS是一種簡(jiǎn)易信息發(fā)布和傳遞的方式，通過(guò)這種方式，站點(diǎn)之間可以方便地調(diào)用提供RSS訂閱服務(wù)的網(wǎng)站的內(nèi)容，從而形成非常高效的信息聚合，讓網(wǎng)站發(fā)布的內(nèi)容在更大的范圍內(nèi)傳播，用戶也可以通過(guò)RSS種子獲取感興趣的信息。然而RSS種子的分布比較分散，要在互聯(lián)網(wǎng)中尋找自己感興趣的RSS種子，是一件很困難的事情，聚合文檔搜索引擎的出現(xiàn)為用戶搜集自己感興趣的聚合信息

2、提供了一個(gè)方便的手段。本文將針對(duì)聚合文檔搜索引擎的構(gòu)建進(jìn)行深入的研究。 聚合文檔搜索引擎主要由RSS種子搜集器、RSS種子索引器和RSS種子檢索器三個(gè)部分構(gòu)成。在RSS搜集器的設(shè)計(jì)中，本文著重研究了HTML頁(yè)面解析器的構(gòu)建技術(shù)，并行采集技術(shù)和頁(yè)面采集策略。在HTML，頁(yè)面解析器的構(gòu)建中，根據(jù)HTML頁(yè)面元素的樹(shù)狀組織結(jié)構(gòu)，構(gòu)建了HTML語(yǔ)法樹(shù)，并且建立了鏈接節(jié)點(diǎn)的索引表；為了提高搜集器的采集性能，設(shè)計(jì)了一個(gè)多線程采集架構(gòu)；在搜集

3、策略上，本文采取了基于站點(diǎn)的采集策略，同時(shí)可以采用深度優(yōu)先和廣度優(yōu)先兩種搜索策略去采集站內(nèi)信息；通過(guò)分析站點(diǎn)鏈接關(guān)系，評(píng)價(jià)站點(diǎn)流行度，從而指導(dǎo)站點(diǎn)采集順序。在RSS種子信息的存儲(chǔ)上了，本文基于文件系統(tǒng)設(shè)計(jì)了RSS種子存儲(chǔ)格式。在RSS種子索引器和檢索器的構(gòu)建上，本文采用Lucene全文索引包，在深入分析Lucene原理的基礎(chǔ)上，利用逆向最大分詞算法實(shí)現(xiàn)了中文的分詞，并將中文分詞集成到Lucene系統(tǒng)中。在用戶檢索上，該系統(tǒng)支持布爾檢索接