基于非常快速退火搜索算法的主題爬蟲(chóng)研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展,Web網(wǎng)上的信息資源正在以多元化的形式迅速增長(zhǎng),人們?cè)絹?lái)越不滿足于大型通用型搜索引擎所提供的服務(wù),開(kāi)始關(guān)注各種各樣的主題式搜索引擎。主題式搜索引擎主要針對(duì)某一特定領(lǐng)域、某一特定主題或某一特定人群,提供分類(lèi)更細(xì)致精確、數(shù)據(jù)更全面深入、更新更及時(shí)的因特網(wǎng)搜索服務(wù)。主題爬蟲(chóng)是主題式搜索引擎的重要組成部分,主題式搜索引擎中的網(wǎng)頁(yè)信息獲取要靠主題爬蟲(chóng)來(lái)完成,因此主題爬蟲(chóng)以何種搜索策略訪問(wèn)Web,才能得到較高的搜索效率,如何提

2、高主題爬蟲(chóng)的爬行準(zhǔn)確率等問(wèn)題是近年來(lái)主題搜索引擎研究中的熱點(diǎn)問(wèn)題。
　　本文首先分析了主題爬蟲(chóng)的基本結(jié)構(gòu)及工作原理,然后在深入研究人工智能啟發(fā)式模擬退火搜索算法基礎(chǔ)之上,提出了一個(gè)將改進(jìn)后的非?？焖倌M退火搜索算法作為搜索策略的主題爬蟲(chóng)模型,該模型在主題相似度判斷時(shí)采用經(jīng)典的基于向量空間分類(lèi)方法。最后本文對(duì)該模型進(jìn)行了詳細(xì)的實(shí)現(xiàn)并對(duì)其性能進(jìn)行了測(cè)試。本文的主要研究工作如下:
　　1、設(shè)計(jì)了一個(gè)結(jié)構(gòu)合理、可擴(kuò)展配置、分布式主題

3、爬蟲(chóng)模型。
　　2、為提高主題爬蟲(chóng)的運(yùn)行速度設(shè)計(jì)了多線程的網(wǎng)頁(yè)信息提取的方法。
　　3、確定主題爬蟲(chóng)智能的搜索策略。詳細(xì)研究和闡述了傳統(tǒng)的模擬退火算法,分析了傳統(tǒng)模擬退火算法作為主題爬蟲(chóng)搜索策略的缺點(diǎn),詳細(xì)分析了改進(jìn)的模擬退火算法—非?？焖偻嘶鹚惴ǖ膬?yōu)點(diǎn),提出將非常快速模擬退火算法作為搜索策略應(yīng)用到主題爬蟲(chóng)之中,從而提高它的性能。
　　4、對(duì)傳統(tǒng)的自動(dòng)生成主題種子頁(yè)面的方法進(jìn)行修改,提出一種新的較為靈活方便的自動(dòng)生成主