分布式視頻搜索爬蟲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著Internet技術(shù)的發(fā)展和普及，網(wǎng)絡(luò)視頻受到了越來越多的網(wǎng)民的喜愛。由于網(wǎng)絡(luò)視頻的急劇增多，視頻搜索引擎已經(jīng)成為當(dāng)前搜索引擎發(fā)展的一個(gè)重要方向，研究集合了信息采集，索引和檢索等三大功能的分布式視頻搜索爬蟲系統(tǒng)具有重要意義。 首先，本文介紹了分布式視頻搜索爬蟲系統(tǒng)的開發(fā)背景，爬蟲的研究現(xiàn)狀等相關(guān)知識(shí)，并根據(jù)視頻搜索的特點(diǎn)，結(jié)合搜索引擎的相關(guān)技術(shù)，對(duì)爬蟲系統(tǒng)的關(guān)鍵技術(shù)做了詳細(xì)的分析和研究，其中重點(diǎn)研究了不重復(fù)抓取技術(shù)和網(wǎng)頁的更

2、新策略，并提出了一個(gè)視頻網(wǎng)頁判斷算法。接下來，在這些關(guān)鍵技術(shù)和策略的基礎(chǔ)上，設(shè)計(jì)了一個(gè)以用戶對(duì)網(wǎng)絡(luò)視頻搜索需求為研究背景，以互聯(lián)網(wǎng)上的視頻分享型網(wǎng)站內(nèi)容作為視頻信息的自動(dòng)采集對(duì)象的分布式視頻搜索爬蟲系統(tǒng)。并對(duì)分布式視頻搜索爬蟲系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)進(jìn)行了描述，其中包括硬件的構(gòu)架和軟件的模塊劃分。最后，本文給出了對(duì)控制節(jié)點(diǎn)和爬取節(jié)點(diǎn)的詳細(xì)實(shí)現(xiàn)過程，并對(duì)系統(tǒng)進(jìn)行了測(cè)試。 通過對(duì)視頻網(wǎng)頁算法準(zhǔn)確性測(cè)試，該算法能夠很好的辨別網(wǎng)頁是否包含視頻，其