面向Web視頻的網(wǎng)絡(luò)爬蟲(chóng)的研究與實(shí)現(xiàn).pdf

1、計(jì)算機(jī)硬件的處理能力的不斷增強(qiáng)以及網(wǎng)絡(luò)帶寬逐年的擴(kuò)容，使人們?cè)诰W(wǎng)絡(luò)上在線(xiàn)收看視頻甚至是高清視頻成為現(xiàn)實(shí)。網(wǎng)絡(luò)視頻開(kāi)始逐漸取代了傳統(tǒng)電視的地位，成為人們觀看視頻的第一選擇。因此，人們需要一種工具來(lái)達(dá)到對(duì)網(wǎng)絡(luò)視頻進(jìn)行快速檢索的目的。
　　目前我們常用的搜索引擎大多數(shù)都是通過(guò)關(guān)鍵字來(lái)進(jìn)行檢索，但是對(duì)于具有豐富信息的視頻數(shù)據(jù)來(lái)說(shuō)，用戶(hù)很難用精確的語(yǔ)言來(lái)概括視頻的特征，使用語(yǔ)言來(lái)描述具有一定的主觀性，通過(guò)這種方式往往會(huì)搜出大量無(wú)用的信息，效

2、率十分低下。因此，我們需要一種更直觀的方式來(lái)對(duì)網(wǎng)絡(luò)視頻進(jìn)行檢索?；趦?nèi)容的web視頻搜索引擎正是在這樣的需求下產(chǎn)生的。基于內(nèi)容的視頻檢索技術(shù)，是通過(guò)對(duì)視頻進(jìn)行鏡頭檢測(cè)，然后提取鏡頭關(guān)鍵幀，對(duì)特征進(jìn)行提取后，利用視頻特征進(jìn)行檢索的技術(shù)。網(wǎng)絡(luò)爬蟲(chóng)是構(gòu)建基于內(nèi)容的web視頻搜索引擎的基礎(chǔ)，首先需要將網(wǎng)絡(luò)中成千上萬(wàn)的視頻數(shù)據(jù)通過(guò)爬蟲(chóng)收集起來(lái)，搜索引擎才能進(jìn)一步對(duì)視頻的內(nèi)容進(jìn)行分析處理，建立索引。
　　本文以實(shí)現(xiàn)基于內(nèi)容的視頻搜索引擎為目的

3、，深入研究了Heritrix爬蟲(chóng)的相關(guān)技術(shù)，流式傳輸技術(shù)及網(wǎng)絡(luò)數(shù)據(jù)包的捕獲技術(shù)。由于現(xiàn)在很多視頻網(wǎng)站隱藏了視頻的真實(shí)地址，通過(guò)查看地址欄的地址或解析HTML文本都無(wú)法得到視頻的真實(shí)地址。因此，本文提出了通過(guò)分析視頻服務(wù)器與本地網(wǎng)卡的網(wǎng)絡(luò)交換數(shù)據(jù)包來(lái)獲取視頻下載地址的方法，在Heritrix爬蟲(chóng)的基礎(chǔ)上實(shí)現(xiàn)了通過(guò)網(wǎng)絡(luò)爬蟲(chóng)爬取視頻文件的功能，設(shè)計(jì)出了面向web視頻的網(wǎng)絡(luò)爬蟲(chóng)。
　　本文首先介紹了web視頻搜索引擎系統(tǒng)的總體設(shè)計(jì)，分別介