網(wǎng)站數(shù)據(jù)采集系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)行業(yè)的鼎盛發(fā)展，網(wǎng)頁(yè)瀏覽量級(jí)也跟著達(dá)到了巔峰時(shí)期，比如淘寶網(wǎng)，天貓，百度，新浪等國(guó)內(nèi)網(wǎng)站里面的巨頭，日瀏覽量就超過(guò)一千萬(wàn)以上，用戶在網(wǎng)頁(yè)上進(jìn)行每一個(gè)操作，每個(gè)網(wǎng)頁(yè)的停留時(shí)間，各個(gè)頁(yè)面之間的跳轉(zhuǎn)順序等等信息對(duì)于互聯(lián)網(wǎng)公司甚至對(duì)于國(guó)家來(lái)說(shuō)都是價(jià)值連城的數(shù)據(jù)，根據(jù)這些數(shù)據(jù)我們可以計(jì)算出代表絕大多數(shù)用戶的用戶習(xí)慣，可以計(jì)算出用戶對(duì)網(wǎng)站上每個(gè)板塊的喜好程度，可以計(jì)算出網(wǎng)站在哪些地域比較受歡迎等等，這樣的數(shù)據(jù)不是可以用金錢(qián)來(lái)衡量的?；ヂ?lián)網(wǎng)

2、公司對(duì)這些隱藏的屬性一直都是很渴求的，無(wú)論是大企業(yè)還是小公司，每一個(gè)數(shù)據(jù)對(duì)他們來(lái)說(shuō)都像是星星，飄散在晴朗的夜空中，這些小星星相互都牽扯著，牽一發(fā)而動(dòng)全身。
　　網(wǎng)頁(yè)數(shù)據(jù)采集系統(tǒng)在B/S架構(gòu)與傳統(tǒng)打點(diǎn)方式的基礎(chǔ)之上，引入了spm以及自動(dòng)采集，數(shù)據(jù)庫(kù)主從分離技術(shù)，對(duì)服務(wù)器的請(qǐng)求只以長(zhǎng)寬為一像素的透明圖片為目標(biāo)，在請(qǐng)求URL上附帶所有需要采集的數(shù)據(jù)，服務(wù)器端只需要去請(qǐng)jetty請(qǐng)求記錄中去尋找，不需要實(shí)時(shí)處理請(qǐng)求，并使用分布式緩存作為服