支持JavaScript解析的網(wǎng)頁采集系統(tǒng)設(shè)計與實現(xiàn).pdf

1、隨著搜索引擎的廣泛應(yīng)用，網(wǎng)頁采集技術(shù)得到了長足發(fā)展。網(wǎng)頁采集是搜索引擎工作流程的第一站，采集的頁面質(zhì)量將直接影響到搜索引擎提供查詢服務(wù)的優(yōu)劣。最理想的情形是采集與用戶視覺信息一致(Coherent with Users' Vision Information，CUVI)的頁面，這一概念一直是搜索引擎領(lǐng)域的盲點。
　　 針對這一盲點，本文以抓取CUVI頁面為宗旨設(shè)計并實現(xiàn)了一個網(wǎng)頁采集系統(tǒng)。抓取CUVI頁面首先需要進行網(wǎng)頁重定向的

2、處理操作，這是頁面內(nèi)JavaScript程序的主要功能之一。本文采集系統(tǒng)通過將JavaScript解析引入采集系統(tǒng)設(shè)計中，在很大程度上解決采集CUVI頁面的問題。
　　 本文主要內(nèi)容分JavaScript解析和采集系統(tǒng)設(shè)計與實現(xiàn)兩部分展開。
　　 JavaScript(JS)解析部分，首先分析處理JavaScript的必要性，通過對典型數(shù)據(jù)進行調(diào)研分析，得到了JS程序在HTML文檔中的功能分布。然后，根據(jù)采集系統(tǒng)對Jav

3、aScript解析的需求設(shè)計并實現(xiàn)了簡易JS解析器--JSParser。最后，通過實驗驗證JSParser無論在性能上還是在功能上都能滿足本文采集系統(tǒng)的需求。
　　 本文的采集系統(tǒng)由采集器和控制器兩個模塊組成。采集器在設(shè)計上，創(chuàng)新性地引入頁面分析功能，并結(jié)合使用JSParser，達到了采集CUVI頁面的初衷；在實現(xiàn)上，采用EPOLL技術(shù)解決了采集器對高并發(fā)度的要求。控制器維護一個站點IP FIFO(Fist In Fist Ou