基于SVM的主題爬蟲系統(tǒng)研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)規(guī)模的不斷發(fā)展擴(kuò)大，網(wǎng)絡(luò)數(shù)據(jù)呈現(xiàn)出了爆發(fā)式的增長(zhǎng)，改變了人們的生活，逐漸影響各行各業(yè)原有的生產(chǎn)經(jīng)營(yíng)模式。網(wǎng)絡(luò)信息資源主要以網(wǎng)頁(yè)文本為載體，通過(guò)內(nèi)部鏈接指向，組成結(jié)構(gòu)復(fù)雜的信息網(wǎng)絡(luò)。通用搜索引擎面向全網(wǎng)絡(luò)進(jìn)行網(wǎng)頁(yè)抓取，信息的急速增長(zhǎng)使得其在時(shí)效性和覆蓋面上都很難得到保證。應(yīng)運(yùn)而生的垂直搜索引擎以主題爬蟲為核心，專注于單一領(lǐng)域信息，靈活性強(qiáng)，很好的滿足了人們對(duì)于特定主題信息的查找需求。
　　本論文基于原有的主題爬蟲算法框架，

2、針對(duì)主題爬蟲運(yùn)行過(guò)程中的爬行策略進(jìn)行研究，采用支持向量機(jī)分類模型對(duì)網(wǎng)頁(yè)主題相關(guān)性和鏈接錨文本主題進(jìn)行分類預(yù)測(cè)，共同決定待爬取鏈接的優(yōu)先級(jí)。同時(shí)改變鏈接隊(duì)列的形式，設(shè)置四段式分級(jí)鏈接隊(duì)列，以提高主題爬蟲的工作效率和主題收獲率。具體工作內(nèi)容主要包括：
　　1）對(duì)下載的搜狗實(shí)驗(yàn)室網(wǎng)頁(yè)文本語(yǔ)料集進(jìn)行數(shù)據(jù)預(yù)處理，如利用ICTCLAS進(jìn)行中文分詞、使用卡方檢驗(yàn)選取特征列表、通過(guò)計(jì)算TF-IDF值來(lái)設(shè)置特征權(quán)重。訓(xùn)練支持向量機(jī)分類模型，通過(guò)特征

3、維數(shù)選擇、參數(shù)尋優(yōu)得到表現(xiàn)較好的網(wǎng)頁(yè)文本主題分類器。
　　2）將訓(xùn)練得到的網(wǎng)頁(yè)文本主題分類器嵌入到通用爬蟲系統(tǒng)中，在提取網(wǎng)頁(yè)內(nèi)部鏈接的同時(shí)保存對(duì)應(yīng)的錨文本信息，抓取到對(duì)應(yīng)網(wǎng)頁(yè)后進(jìn)行主題分類，然后對(duì)保存的錨文本進(jìn)行標(biāo)注，生成錨文本語(yǔ)料集。基于錨文本語(yǔ)料集進(jìn)行分類模型訓(xùn)練，得到錨文本主題分類器。
　　3）結(jié)合訓(xùn)練得到的兩個(gè)分類器，嵌入到設(shè)計(jì)的主題爬蟲系統(tǒng)框架中，將URL隊(duì)列劃分為四段鏈?zhǔn)浇Y(jié)構(gòu)。通過(guò)當(dāng)前網(wǎng)頁(yè)主題和鏈接錨文本主題相關(guān)

4、性一起決定鏈接的抓取優(yōu)先級(jí)，壓入不同的鏈中，從而使得主題爬蟲能夠較快的發(fā)現(xiàn)主題相關(guān)頁(yè)面，提高抓取效率。
　　4）以爬蟲的抓取速度和主題收獲率作為評(píng)價(jià)指標(biāo)，對(duì)本文中設(shè)計(jì)的主題爬蟲系統(tǒng)進(jìn)行測(cè)試對(duì)比，頁(yè)面抓取速度達(dá)到298/min，主題收獲率基本穩(wěn)定在80％以上，通過(guò)對(duì)比，論證系統(tǒng)的實(shí)際可行性及其相對(duì)優(yōu)勢(shì)。
　　最后利用設(shè)計(jì)實(shí)現(xiàn)的主題爬蟲以各大門戶網(wǎng)站為入口，進(jìn)行頁(yè)面抓取，得到體育類網(wǎng)頁(yè)集，建立索引庫(kù)，實(shí)現(xiàn)信息檢索，完成對(duì)抓取數(shù)據(jù)