增量式Web信息采集與信息提取系統(tǒng)的研究與實現(xiàn).pdf

1、隨著網(wǎng)絡(luò)的迅猛發(fā)展，人們越來越依賴從網(wǎng)絡(luò)上獲取信息。網(wǎng)絡(luò)信息資源的保存壽命通常只有幾十天，隨著時間的推移，大量舊的網(wǎng)絡(luò)信息資源正在被新的網(wǎng)絡(luò)信息淹沒。如何更迅速更準確地從互聯(lián)網(wǎng)上采集有用的信息成為研究的熱點。大規(guī)模的非增量式采集技術(shù)已經(jīng)發(fā)展很成熟。為了避免因重復(fù)搜集未變化的網(wǎng)頁而帶來時間上的浪費，增量采集技術(shù)應(yīng)運而生。為了提高更新采集的效率和信息抽取的抽準率，本文主要針對增量更新的Web信息采集及基于隱馬爾夫模型的信息提取進行了研究。<

2、br>　　 本文分析了Web信息采集系統(tǒng)的研究背景、研究意義、發(fā)展現(xiàn)狀以及其面臨的各種困難和挑戰(zhàn)，闡述了信息采集系統(tǒng)的工作原理和網(wǎng)絡(luò)爬蟲的工作流程，在研究信息采集系統(tǒng)以及信息抽取的核心技術(shù)的基礎(chǔ)上結(jié)合增量信息采集系統(tǒng)的需求，明確了系統(tǒng)開發(fā)過程中要解決的問題，提出了具體的設(shè)計方案，構(gòu)建了一個性能良好，具有可擴展性的增量信息采集及信息提取系統(tǒng)。該系統(tǒng)包括如下幾個模塊：頁面采集、頁面解析、URL去重、頁面去重和更新檢測。論文的主要工作以及創(chuàng)

3、新如下：
　　 1.引入了目錄型網(wǎng)頁，提高了發(fā)現(xiàn)新網(wǎng)頁的效率，采用FWKNN算法有效地識別了目錄型網(wǎng)頁。
　　 2.針對MD5算法過于苛刻的問題，本文采取基于網(wǎng)頁框架和規(guī)則的方法先對網(wǎng)頁去噪后，再對網(wǎng)頁正文計算得出唯一的MD5值。此方法在一定程度上提高了網(wǎng)頁相似性分析的準確率。
　　 3.在預(yù)測網(wǎng)頁的變化頻率方面，通過分析泊松模型存在的缺點，引入了更新頻率計算窗口，提出內(nèi)容分析和網(wǎng)頁隸屬分析，避免了建立模型前需要