一個電商網(wǎng)站反爬蟲系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、現(xiàn)有一個電商網(wǎng)站，網(wǎng)站提供線上交易服務(wù)，同時展示了真實的最新交易數(shù)據(jù)和一些用戶的需求，這些真實有價值的數(shù)據(jù)吸引了不少的爬蟲“光顧”。有些爬蟲給網(wǎng)站的性能和信息安全帶來了不小的影響。為了降低爬蟲給網(wǎng)站帶來的性能影響，減少網(wǎng)站信息泄露，確保有良好的SEO，同時給用戶以良好的用戶體驗，需要識別并拒絕爬蟲的訪問，常用的數(shù)段有：人工識別爬蟲，通過User-Agent信息識別爬蟲，查看系統(tǒng)統(tǒng)計和日志識別爬蟲等，這些手段容易實現(xiàn)，但不夠自動化和智能，

2、同時對爬蟲的相關(guān)信息缺乏管理，因此需要為電商網(wǎng)站開發(fā)一個反爬蟲系統(tǒng)實時攔截爬蟲，并且對相關(guān)數(shù)據(jù)進行監(jiān)控和管理。
　　反爬蟲系統(tǒng)是在充分理解HTTP協(xié)議，Web工作流程基礎(chǔ)上，結(jié)合爬蟲特點以及反爬蟲工作原理進行設(shè)計，利用Rails開發(fā)框架框架和Redis高速內(nèi)存數(shù)據(jù)庫加以實現(xiàn)，并創(chuàng)新的引入Echarts圖表進行展示。實現(xiàn)思路是：首先攔截并識別每次訪問Request請求中的真實IP，User-Agent，Referer等信息，解析并存

3、儲到數(shù)據(jù)庫，考慮訪問的高并發(fā)讀寫，采用Redis內(nèi)存數(shù)據(jù)庫。然后利用Redis時間片的特性給每個IP增設(shè)多級訪問頻率閾值，同時增設(shè)驗證碼驗證，若是超過設(shè)定閾值并且驗證碼錯誤，則判別為爬蟲，拒絕訪問。同時，為了防止有“漏網(wǎng)之魚”，反爬蟲系統(tǒng)引入了數(shù)據(jù)可視化前端框架，進一步進行圖表展示，通過清晰的圖表數(shù)據(jù)的走勢分布，輕松判定爬蟲加以屏蔽，從而使躲過系統(tǒng)閾值判定的爬蟲“原形畢露”。
　　在測試環(huán)節(jié)，分別通過了功能和性能兩方面的測試要求。