基于啟發(fā)式搜索策略的主題網(wǎng)絡(luò)爬蟲算法的設(shè)計與實現(xiàn).pdf

1、隨著全球信息化的進程逐漸加快,網(wǎng)絡(luò)信息量的爆炸式增長，人們查找信息越來越難。 Web 搜索引擎的出現(xiàn)在一定程度上解決了這種矛盾。然而現(xiàn)行的大型通用搜索引擎無法根據(jù)用戶所指定的主題進行針對性的搜索，主題搜索引擎應(yīng)運而生。主題搜索引擎主要針對某一特定領(lǐng)域、某一特定主題或某一特定人群，提供內(nèi)容集中而深入的信息與服務(wù)。主題網(wǎng)絡(luò)爬蟲作為主題搜索引擎的重要組成部分,它的好壞直接關(guān)系到所搜索到資源的質(zhì)量，因此如何設(shè)計一個高質(zhì)量的主題網(wǎng)絡(luò)爬蟲就

2、成為了主題搜索引擎研究的一個重要課題。 通用搜索引擎設(shè)計的目的是在網(wǎng)絡(luò)上搜索盡可能多的高質(zhì)量網(wǎng)頁，然而Web 信息容量的巨大使得網(wǎng)絡(luò)爬蟲不可能提取所有的Web頁面，即使能夠全部提取，也沒有足夠大的空間來存放。通用網(wǎng)絡(luò)爬蟲的信息采集方式是盲目的，通常使用寬度優(yōu)先搜索，深度優(yōu)先搜索和有限深度的寬度搜索三種策略。主題搜索引擎與通用搜索引擎不同，它的設(shè)計目標是盡可能多的搜索與主題相關(guān)的網(wǎng)頁，盡可能少的搜索與主題無關(guān)的內(nèi)容，提高采集主題資

3、源的效率。主題網(wǎng)絡(luò)爬蟲設(shè)計的關(guān)鍵是如何將待爬行的URL按照某種策略進行排序，使得與主題相關(guān)的、質(zhì)量高的URL優(yōu)先爬行，爬行的過程逐漸向主題領(lǐng)域聚焦。 論文首先分析了主題搜索引擎與通用搜索引擎體系結(jié)構(gòu)的異同,主題搜索引擎的信息采集策略，即主題網(wǎng)絡(luò)爬蟲的實現(xiàn)方式。目前比較有代表性的主題搜索策略如：基于啟發(fā)式搜索算法和基于文本分類的搜索算法。論文通過分析各種搜索算法的優(yōu)缺點，進行整合和改進，設(shè)計出一個基于啟發(fā)式搜索策略的主題網(wǎng)絡(luò)爬蟲。

4、在主題表示中利用向量空間模型提取主題關(guān)鍵詞的算法，并且根據(jù)反比文檔頻率計算出關(guān)鍵詞的權(quán)重。在預(yù)測鏈接價值的算法中，采用啟發(fā)式搜索算法，即先通過在線獲得的領(lǐng)域知識評價待訪問鏈接的價值，借以推斷信息資源的分布情況，然后按一定的原則選擇價值最大的鏈接進行下一步的搜索，找到到達目標節(jié)點的最佳路徑，刪除不好的節(jié)點，保留那些好的節(jié)點。 論文設(shè)計了一個基于啟發(fā)式搜索策略的主題網(wǎng)絡(luò)爬蟲，對其執(zhí)行流程給出了精確的算法描述，提出了若干關(guān)鍵算法的解決