并行爬行器的架構(gòu)與優(yōu)化策略.pdf

1、本文對并行爬行器的架構(gòu)與優(yōu)化策略進(jìn)行了研究。文章的研究內(nèi)容主要包括：分析并行爬行器現(xiàn)有的實(shí)現(xiàn)技術(shù)，包括系統(tǒng)框架，任務(wù)分配算法，系統(tǒng)內(nèi)部通信方式和協(xié)作方式。以主從結(jié)構(gòu)為基本模型，闡述了基于NFS的并行爬行器系統(tǒng)架構(gòu)，協(xié)作機(jī)制，以及在此機(jī)制下并行爬行器的數(shù)據(jù)處理流程和數(shù)據(jù)并發(fā)訪問的處理方法。 文章針對并行爬行器所遇到的實(shí)際問題，實(shí)現(xiàn)了三種優(yōu)化策略：沖突規(guī)避，URL索引和DNS緩沖。沖突規(guī)避算法將URL散列和站點(diǎn)名散列相結(jié)合，應(yīng)用多線

2、程技術(shù)，在實(shí)現(xiàn)了負(fù)載平衡同時，又避免了并行爬行器的并發(fā)沖突。URL索引采用了索引散列值的方法，基于BerkeleyDB實(shí)現(xiàn)了Hash和B+樹兩種URL索引庫，滿足了爬行器快速查找URL的需要，為其正常運(yùn)行提供了保障。DNS緩沖通過客戶機(jī)緩沖的方式，采用全緩沖策略，解決了域名解析的瓶頸，提高了并行爬行器的運(yùn)行效率。設(shè)計實(shí)現(xiàn)了實(shí)驗(yàn)原型系統(tǒng)ChaoCrawler。通過在互聯(lián)網(wǎng)上進(jìn)行實(shí)驗(yàn)，檢驗(yàn)了并行爬行器ChaoCrawler的運(yùn)行效果，并由此