主題搜索網(wǎng)絡(luò)爬蟲的設(shè)計與研究.pdf

1、隨著因特網(wǎng)規(guī)模的不斷擴大，網(wǎng)絡(luò)用戶越來越依靠搜索引擎等網(wǎng)絡(luò)工具來從網(wǎng)絡(luò)上獲取他們想要的信息。然而，通用搜索引擎面對日益增長的網(wǎng)絡(luò)規(guī)模以及人們對個性化信息檢索的需要往往力不從心。主題搜索引擎，亦稱垂直搜索引擎通過把搜索應(yīng)用限制在特定的主題上，提供個性化，專業(yè)化的搜索服務(wù)，提高了服務(wù)質(zhì)量，同時也節(jié)約了計算及網(wǎng)絡(luò)資源。
　　 論文圍繞網(wǎng)頁和主題的特征提取方法、特征權(quán)重計算方法以及鏈接上下文長度對主題網(wǎng)絡(luò)爬蟲性能影響的問題開展了以下的研

2、究工作：
　　 針對經(jīng)典的MI互信息方法傾向于選擇低頻詞條而CHI統(tǒng)計方法傾向于選擇高頻詞條的問題，提出一種新的EXM方法，該方法加入類內(nèi)詞頻和分散度因素，把兩者結(jié)合。實驗結(jié)果表明新方法能有效提升文本分類的準確率達5％至12％，可用于網(wǎng)絡(luò)爬蟲主題特征提取。
　　 針對二元特征提取優(yōu)勢率算法OR由于忽視詞頻因素而在中低維數(shù)情況下性能較差的問題，提出EOR算法。該算法引入了類內(nèi)詞頻及分散度因素，提升了中低維數(shù)下文本分類的準確

3、度5％左右，可以有效降低文本向量的維數(shù)。把EOR特征提取過程中計算得到的詞條EOR分值與詞頻TF結(jié)合得到特征詞權(quán)重計算方法TF-EOR。實驗表明，該方法比傳統(tǒng)TF-IDF能提升網(wǎng)絡(luò)爬蟲抓取精確度4％左右，與同類型的TF-MI和TF-CHI相比也略有優(yōu)勢。
　　 應(yīng)用EOR特征提取方法和TF-EOR權(quán)重計算方法改造通用網(wǎng)絡(luò)爬蟲Larbin，使其成為主題網(wǎng)絡(luò)爬蟲Tlarbin。性能評測表明Tlarbin能有效地抓取主題相關(guān)網(wǎng)頁，其抓