基于SVM分類算法的主題爬蟲研究.pdf

1、近年來,隨著互聯(lián)網(wǎng)的快速發(fā)展,互聯(lián)網(wǎng)上的信息量日益增長且呈現(xiàn)多元化的特點。于是如何能夠迅速、準(zhǔn)確而高效地為互聯(lián)網(wǎng)用戶定位所需要的信息,成為搜索引擎的主要目標(biāo)。通用搜索引擎能夠在較大的信息范圍內(nèi)獲取信息,但是由于其涉及的領(lǐng)域過于寬泛,因此,在某些特定領(lǐng)域,無法給用戶提供專業(yè)而深入的信息。于是,主題搜索引擎應(yīng)運(yùn)而生,它能夠在某一特定領(lǐng)域,提供專業(yè)、精確而深入的搜索服務(wù)。本文以主題搜索引擎中的主題爬蟲為研究內(nèi)容,研究有效地爬取某一主題范圍內(nèi)網(wǎng)

2、頁的策略。
　　 本文首先對主題爬蟲的相關(guān)研究進(jìn)行了綜 述,從通用爬蟲和主題爬蟲的主要組成結(jié)構(gòu)、基于文字內(nèi)容的啟發(fā)式爬取策略、基于Web鏈接結(jié)構(gòu)的評價方法,分析了當(dāng)前爬取策略的優(yōu)缺點。
　　 采用向量空間模型將網(wǎng)頁用數(shù)學(xué)方法表示,研究支持向量機(jī)算法的相關(guān)原理。提出了基于文字內(nèi)容和部分鏈接信息的主題相關(guān)度預(yù)測算法,對未爬取的網(wǎng)頁,預(yù)測其與主題的相關(guān)度。
　　 對于已經(jīng)爬取網(wǎng)頁,首先使用SVM分類器過濾與主題無關(guān)的網(wǎng)