分布式多媒體網(wǎng)絡(luò)爬行系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)和多媒體技術(shù)的飛速發(fā)展,推動了數(shù)字多媒體作品的在線銷售與傳播,也帶來了版權(quán)侵犯問題。數(shù)字作品可以被輕易拷貝,任何人均可通過網(wǎng)絡(luò)將版權(quán)保護(hù)作品進(jìn)行再次分發(fā)。使用網(wǎng)絡(luò)爬蟲主動搜索互聯(lián)網(wǎng)中的多媒體作品(圖像、音頻和視頻),利用拷貝檢測和數(shù)字指紋技術(shù)追蹤泄露者,可以有效地保護(hù)版權(quán)。設(shè)計(jì)實(shí)現(xiàn)了一個分布式多媒體網(wǎng)絡(luò)爬行系統(tǒng),實(shí)現(xiàn)對互聯(lián)網(wǎng)上多媒體作品的抓取,為下一步版權(quán)保護(hù)提供檢測數(shù)據(jù)來源。
　　分布式網(wǎng)絡(luò)爬蟲的設(shè)計(jì)是一項(xiàng)極具挑戰(zhàn)性的工作

2、,在詳細(xì)討論一般爬蟲設(shè)計(jì)架構(gòu)的基礎(chǔ)上,提出了一種實(shí)用的分布式架構(gòu)設(shè)計(jì),有效的結(jié)合了集中式和分布式設(shè)計(jì)的優(yōu)點(diǎn),較好地解決了任務(wù)調(diào)度與爬行結(jié)點(diǎn)動態(tài)加入和退出造成的重復(fù)爬行問題。網(wǎng)絡(luò)爬蟲的實(shí)現(xiàn)涉及到一系列關(guān)鍵技術(shù),為加快爬行速度,盡早爬行到重要資源,采用基于URL過濾的寬度優(yōu)先搜索策略,丟棄不重要的URL;在對基于Bloom Filter的URL判重方式進(jìn)行詳細(xì)分析討論后,提出了一種基于Bloom Filter的分布式URL判重方法,每個爬行

3、結(jié)點(diǎn)只維護(hù)自身任務(wù)范圍內(nèi)URL的判重結(jié)構(gòu),爬行結(jié)點(diǎn)越多,單個爬行結(jié)點(diǎn)需要進(jìn)行判重的URL越少,減少了對內(nèi)存的需求,加快了判重速度;爬行結(jié)點(diǎn)采用多線程實(shí)現(xiàn)可以有效加快爬行速度,但線程之間存在競爭,詳細(xì)討論了多線程設(shè)計(jì)中遇到的問題。
　　在多媒體資源爬行方面,詳細(xì)討論了多媒體資源爬行下載中存在的問題及解決思路,著重介紹了視頻分享網(wǎng)站中存在的視頻下載問題,并以視頻網(wǎng)站優(yōu)酷為例描述了問題的解決方案。最后通過系統(tǒng)的實(shí)際運(yùn)行評測,驗(yàn)證分布式多