面向動態(tài)網(wǎng)頁的定向信息提取模型的設(shè)計與實現(xiàn).pdf

1、隨著Web2.0技術(shù)的出現(xiàn)以及快速發(fā)展，互聯(lián)網(wǎng)中出現(xiàn)了越來越多的動態(tài)網(wǎng)頁。Ajax技術(shù)實現(xiàn)了客戶端與服務器之間的異步數(shù)據(jù)傳輸操作，不僅提高了用戶的體驗度，而且促進了動態(tài)網(wǎng)頁的普及和互聯(lián)網(wǎng)的發(fā)展。但是，這也使得依據(jù)HTML源碼進行信息提取的傳統(tǒng)網(wǎng)絡爬蟲無法提取到動態(tài)網(wǎng)頁中的動態(tài)信息。因此，支持動態(tài)網(wǎng)頁的信息提取的研究具有一定的實踐意義。為此，本文提出了一種面向動態(tài)網(wǎng)頁的定向信息提取模型。
　　首先，分析了與動態(tài)網(wǎng)頁定向信息提取相關(guān)的

2、理論與技術(shù)，同時將研究對象Web頁面分為靜態(tài)網(wǎng)頁和動態(tài)網(wǎng)頁兩類，并對其進行了詳細的對比分析。在此基礎(chǔ)上，分析了動態(tài)網(wǎng)頁廣泛采用的Ajax技術(shù)對信息提取帶來的挑戰(zhàn)。最后，對超文本標記語言、DOM模型和正則表達式在信息提取中的作用進行了詳細介紹。
　　其次，分析了傳統(tǒng)網(wǎng)絡爬蟲爬取動態(tài)網(wǎng)頁的缺陷和不足，提出了一種面向動態(tài)網(wǎng)頁的定向信息提取模型。其工作流程為首先通過HTTP請求獲取網(wǎng)頁，然后采用HtmlUnit來解析與執(zhí)行動態(tài)腳本，并模擬

3、提交頁面表單；最后，利用jsoup構(gòu)建DOM樹，從而提取頁面信息和URL，并存儲到數(shù)據(jù)庫中。
　　再次，結(jié)合所提出的面向動態(tài)網(wǎng)頁的定向信息提取模型，給出了各個組成模塊的具體實現(xiàn)方法：采用廣度優(yōu)先搜索策略爬取網(wǎng)站中的網(wǎng)頁，使用布隆過濾器對URL鏈接進行去重處理，利用正則表達式和jsoup選擇器提取網(wǎng)頁信息和URL鏈接，并采用多線程爬蟲技術(shù)來提高該模型的性能。
　　最后，基于所提出的面向動態(tài)網(wǎng)頁的信息提取模型，以燕山大學百度貼吧