基于Heritrix的主題網(wǎng)絡(luò)爬蟲研究與應(yīng)用.pdf

1、現(xiàn)如今網(wǎng)絡(luò)信息資源快速增長，網(wǎng)絡(luò)技術(shù)不斷發(fā)展，互聯(lián)網(wǎng)上的信息過于膨脹，于是如何能夠快速準(zhǔn)確的在數(shù)量巨大的網(wǎng)絡(luò)資源中獲取需要的信息是網(wǎng)絡(luò)研究的一個(gè)熱門話題。而通用搜索引擎提供的是一種粗略的檢索服務(wù)，越來越不能滿足人們個(gè)性化、專業(yè)化的搜索需求。網(wǎng)絡(luò)爬蟲是搜索引擎獲取網(wǎng)絡(luò)數(shù)據(jù)的重要工具，搜索引擎利用網(wǎng)絡(luò)爬蟲在網(wǎng)絡(luò)上自動的獲取網(wǎng)絡(luò)資源，然后對所獲取的資源建立索引，來提供給網(wǎng)絡(luò)用戶進(jìn)行信息檢索。一般來說，爬蟲系統(tǒng)主要分為通用網(wǎng)絡(luò)爬蟲系統(tǒng)和主題網(wǎng)絡(luò)

2、爬蟲系統(tǒng)兩大類，其中主題網(wǎng)絡(luò)爬蟲要更加的“?！?、“快”、“深”。通過主題網(wǎng)絡(luò)爬蟲不但能夠?yàn)樗阉饕娌杉囟ňW(wǎng)絡(luò)信息，而且可以作為定向信息采集器，定向采集某些網(wǎng)站下的某類信息，如商品信息，學(xué)習(xí)信息等一些用戶感興趣的信息。
　　本文首先研究通用網(wǎng)絡(luò)爬蟲的模型、原理和不足，以及主題網(wǎng)絡(luò)爬蟲的原理，分析了它的關(guān)鍵技術(shù)，主要包括主題的確立和如何對特定信息進(jìn)行抓取。然后通過對主題網(wǎng)絡(luò)爬蟲原理的分析，指出了基于鏈接關(guān)系的HITS算法的不足，即大

3、量的冗余信息會造成“主題漂移”現(xiàn)象，針對這一現(xiàn)象提出了改進(jìn)的HITS算法，引入內(nèi)容參數(shù)和時(shí)間參數(shù)相結(jié)合的改進(jìn)措施。最后利用Java開源框架Heritrix設(shè)計(jì)主題網(wǎng)絡(luò)爬蟲程序，把改進(jìn)的HITS算法應(yīng)用到爬蟲的搜索策略中。在實(shí)現(xiàn)多線程操作中，根據(jù)URL字符串的特點(diǎn)，對幾種經(jīng)典的Hash算法進(jìn)行測試，其中BKDRHash算法在耗時(shí)情況和解決沖突數(shù)方面表現(xiàn)最為良好。最終實(shí)現(xiàn)了一個(gè)基于改進(jìn)HITS算法的多線程主題網(wǎng)絡(luò)爬蟲程序，實(shí)現(xiàn)了對太平洋汽車