基于就業(yè)信息搜索的網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、爬蟲技術(shù)作為數(shù)據(jù)搜索技術(shù)中最關(guān)鍵的一項(xiàng)技術(shù)，也作為搜索引擎中最核心的模塊，為搜索引擎提供數(shù)據(jù)源。
　　為了獲取存在于互聯(lián)網(wǎng)上的大量招聘信息并集中反映到本地，設(shè)計(jì)一種網(wǎng)絡(luò)爬蟲系統(tǒng)來爬取這些信息，并對這些信息進(jìn)行分類存儲(chǔ)。為了使爬蟲能在較短的時(shí)間里精準(zhǔn)地，快速地，完整地獲取這些信息，爬蟲系統(tǒng)首先采用httpclient中的GET方式結(jié)合http協(xié)議來獲取網(wǎng)頁內(nèi)容，并根據(jù)招聘網(wǎng)站上數(shù)據(jù)信息的分布結(jié)構(gòu)，采取深度優(yōu)先搜索方式和廣度優(yōu)先搜索方

2、式相結(jié)合的方法來對網(wǎng)頁URL進(jìn)行搜索，這樣爬蟲程序能最迅捷得到頁面鏈接；獲取URL后，利用HtmlParser中的filter方式對網(wǎng)頁進(jìn)行解析與過濾，去除無關(guān)內(nèi)容，保留需要的內(nèi)容，進(jìn)而將得到的信息存入Mongodb數(shù)據(jù)庫，以備以后使用。
　　爬蟲在抓取信息過程中，有可能爬取重復(fù)信息，為了不浪費(fèi)cpu計(jì)算時(shí)間與存儲(chǔ)空間，運(yùn)用基于Hash算法的URL去重方式來應(yīng)對重復(fù)的URL，并且采取了JVM優(yōu)化，多線程技術(shù)，離線腳本，數(shù)據(jù)庫優(yōu)化等