面向eMule的主動(dòng)式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、伴隨著P2P技術(shù)的發(fā)展，P2P文件共享軟件利用豐富的P2P網(wǎng)絡(luò)的資源，實(shí)現(xiàn)了共享文件的快速定位、網(wǎng)絡(luò)備份以及高速下載，開(kāi)創(chuàng)了文件共享的新時(shí)代。eMule作為當(dāng)前全球最流行的P2P文件共享系統(tǒng)之一，它支持eDonkey2000網(wǎng)絡(luò)和Kad網(wǎng)絡(luò)網(wǎng)內(nèi)文件搜索，給網(wǎng)絡(luò)用戶(hù)下載多媒體內(nèi)容帶來(lái)了全新的體驗(yàn)。同時(shí)，eMule網(wǎng)絡(luò)也成為了不良非法內(nèi)容傳播的溫床，嚴(yán)重影響了網(wǎng)絡(luò)應(yīng)用環(huán)境，其分散隱秘的傳播方式，給世界各國(guó)網(wǎng)絡(luò)監(jiān)管部門(mén)帶來(lái)了很大挑戰(zhàn)。

2、　　 針對(duì)eMule網(wǎng)絡(luò)資源傳輸不易發(fā)現(xiàn)和不易定位的問(wèn)題。根據(jù)eMule網(wǎng)絡(luò)結(jié)構(gòu)及其資源傳播特點(diǎn)，本文設(shè)計(jì)并實(shí)現(xiàn)了面向eMule的主動(dòng)式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)，以?xún)煞N方式采集eMule資源數(shù)據(jù)，為網(wǎng)絡(luò)安全監(jiān)管和網(wǎng)絡(luò)安全態(tài)勢(shì)的宏觀分析提供了數(shù)據(jù)基礎(chǔ)；該系統(tǒng)也為P2P網(wǎng)絡(luò)測(cè)量提供了一個(gè)很好的技術(shù)平臺(tái)。主要工作及成果如下：
　　 ①在web網(wǎng)絡(luò)傳播方面，設(shè)計(jì)并實(shí)現(xiàn)了web網(wǎng)頁(yè)爬蟲(chóng)模塊：1)改進(jìn)開(kāi)源網(wǎng)絡(luò)爬蟲(chóng)Heritrix的鏈接過(guò)濾功能，并引入

3、ELFhash算法優(yōu)化其URL隊(duì)列管理策略，通過(guò)測(cè)試驗(yàn)證改進(jìn)后抓取線程數(shù)和網(wǎng)頁(yè)采集速率有明顯提高。2)為避免傳統(tǒng)web網(wǎng)絡(luò)爬蟲(chóng)的重復(fù)性問(wèn)題，本文采用增量更新機(jī)制，有效提高采集網(wǎng)頁(yè)的質(zhì)量；實(shí)驗(yàn)得出抓取網(wǎng)頁(yè)的平均查準(zhǔn)率為95.5％，滿(mǎn)足項(xiàng)目需求。3)為深入web網(wǎng)頁(yè)中各單獨(dú)信息塊抽取eMule資源，結(jié)合自定義抽取規(guī)則，采用基于DOM樹(shù)的信息抽取方法，實(shí)驗(yàn)表明信息抽取的平均準(zhǔn)確率為97.8%，明顯高于同類(lèi)系統(tǒng)。
　　 ②在eMule文

4、件共享系統(tǒng)傳播方面，主動(dòng)式爬蟲(chóng)系統(tǒng)中設(shè)計(jì)并實(shí)現(xiàn)了eMule網(wǎng)絡(luò)爬蟲(chóng)模塊：1)采用主動(dòng)測(cè)量的方法，設(shè)計(jì)基于eMule網(wǎng)絡(luò)中兩種不同協(xié)議的網(wǎng)絡(luò)爬蟲(chóng)E-Crawler，多機(jī)并行處理，解決了傳統(tǒng)網(wǎng)絡(luò)爬蟲(chóng)只測(cè)量單一協(xié)議網(wǎng)絡(luò)的問(wèn)題。2)結(jié)合網(wǎng)絡(luò)音視頻傳播特點(diǎn)，為搜索特定熱度文件在eMule網(wǎng)絡(luò)中傳播情況，采用自動(dòng)添加關(guān)鍵字搜索的方式，使E-Crawler爬行更加具有主動(dòng)性。3)為了提高E-Crawler爬行速率，采用基于正反饋的爬行策略，優(yōu)先與大型