基于元搜索引擎的網(wǎng)頁采集技術(shù)的研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展，網(wǎng)絡(luò)信息急劇膨脹，對互聯(lián)網(wǎng)信息敏感的政府部門和企事業(yè)單位已經(jīng)無法單單依靠人工監(jiān)控來把握互聯(lián)網(wǎng)的動向了。為了幫助用戶更好地實時監(jiān)控分析網(wǎng)絡(luò)信息,近些年涌現(xiàn)了大量的互聯(lián)網(wǎng)信息處理平臺。這些互聯(lián)網(wǎng)信息處理平臺借助于高性能的計算機，及時、準確、全面的采集網(wǎng)絡(luò)信息，并進一步為用戶提供有價值的分析結(jié)果。
　　然而，現(xiàn)有的網(wǎng)頁信息采集技術(shù)在采集數(shù)據(jù)的時效性、全面性和有效率上還存在一定缺陷，并且設(shè)計復雜，維護困難，需要消耗大

2、量的人力、物力。
　　為了克服上述缺陷，本文將元搜索技術(shù)遷移應用到了互聯(lián)網(wǎng)信息采集系統(tǒng)中去，提出了基于元搜索引擎的網(wǎng)頁采集技術(shù)——采集型元搜索技術(shù)。實驗結(jié)果表明，比起已有的網(wǎng)頁信息采集技術(shù)，新的網(wǎng)頁采集技術(shù)能夠保證采集數(shù)據(jù)的時效性、全面性和有效率。
　　本文所做主要工作如下：
　　1)對傳統(tǒng)的網(wǎng)頁采集技術(shù)進行了詳細的研究和分析，闡述了各種網(wǎng)絡(luò)爬蟲在滿足互聯(lián)網(wǎng)信息處理平臺的網(wǎng)頁采集需求時的優(yōu)缺點，提出了基于元搜索引擎的網(wǎng)

3、頁采集技術(shù)。
　　2)針對現(xiàn)有元搜索引擎應用于采集模塊存在采集規(guī)模過小的問題，提出了基于局部共現(xiàn)統(tǒng)計的查詢擴展技術(shù)（LCOOCS），通過增加查詢次數(shù)的方式來獲取更多相關(guān)網(wǎng)頁。
　　3)針對 LCOOCS需要對初檢結(jié)果進行文本分析，而元搜索引擎的采集結(jié)果都是HTML網(wǎng)頁源代碼的問題，設(shè)計并實現(xiàn)了一種全自動的正文抽取算法TextEx。
　　4)設(shè)計并實現(xiàn)了一個采集型元搜索系統(tǒng)。總結(jié)提取了百度新聞、bing資訊等六大互聯(lián)網(wǎng)搜