面向多任務(wù)、多通道并行爬蟲的技術(shù)研究.pdf

1、不同于傳統(tǒng)的搜索引擎只有一個(gè)全局大任務(wù)，該系統(tǒng)需要處理不同用戶下發(fā)的多種任務(wù)。每個(gè)用戶只關(guān)心某幾個(gè)網(wǎng)站，而且實(shí)時(shí)性要求比較高，在特定的時(shí)間內(nèi)，需要對(duì)目標(biāo)網(wǎng)站進(jìn)行頻繁抓取。該系統(tǒng)研究的是具有多任務(wù)管理和分配的并行爬蟲，任務(wù)的目標(biāo)通常包含多個(gè)網(wǎng)站，而且任務(wù)開始時(shí)間，下一次執(zhí)行任務(wù)的時(shí)間都可以設(shè)定，多個(gè)監(jiān)管任務(wù)又可能需要關(guān)心同一個(gè)網(wǎng)站。
　　為了提高任務(wù)執(zhí)行的并行性，該系統(tǒng)將任務(wù)拆分成更細(xì)粒度的任務(wù)分片進(jìn)行管理分配，同時(shí)采用了一致性Ha

2、sh算法提供爬蟲的任務(wù)分配，該算法使得爬蟲間負(fù)載盡量相等，同時(shí)最大限度地減小服務(wù)器增減時(shí)的任務(wù)分片重新分布。針對(duì)不同的數(shù)據(jù)來源，文中采用了多通道技術(shù)，根據(jù)每種數(shù)據(jù)源的特征，定制不同的分析方案。
　　該論文還剖析了傳統(tǒng)搜索引擎分配任務(wù)的方式及存在的問題，隨后根據(jù)系統(tǒng)的特點(diǎn)，提出了新的比傳統(tǒng)方法粒度更細(xì)的任務(wù)分配方式——網(wǎng)站劃分。該分配方式將較大規(guī)模的網(wǎng)站切分為若干較小規(guī)模的子集，并將子集交給若干爬蟲節(jié)點(diǎn)并行抓取，以加快爬蟲系統(tǒng)的整體