深層網(wǎng)絡(luò)信息發(fā)掘技術(shù)研究.pdf

1、整個網(wǎng)絡(luò)中的信息按深度可分成兩個層次，表層和深層。表層主要包括“靜態(tài)網(wǎng)頁”，是指以文件形式靜態(tài)存放在服務(wù)器上的數(shù)據(jù)信息。深層則主要包括“動態(tài)網(wǎng)頁”，是指隱藏在表單背后，需要進(jìn)行查詢輸入，由后臺數(shù)據(jù)庫動態(tài)生成的數(shù)據(jù)信息。這些“動態(tài)網(wǎng)頁”信息也被稱作深層網(wǎng)絡(luò)信息、Deep Web信息、Hidden Web信息，具有數(shù)量大、質(zhì)量高、結(jié)構(gòu)化等特點，但目前傳統(tǒng)搜索引擎卻無法將這些信息索引。如何大規(guī)模自動獲取深層網(wǎng)絡(luò)信息成為當(dāng)前技術(shù)難題和研究熱點。

2、
　　本文對目前獲取深層網(wǎng)絡(luò)信息的主要方法進(jìn)行研究，分析這些方法各自的優(yōu)缺點后，決定采用擴(kuò)展當(dāng)前搜索引擎爬蟲能力的方案，使其能夠自動填寫表單、構(gòu)造查詢URL，從而獲取到返回頁面，這樣，搜索引擎便能像處理普通靜態(tài)頁面一樣將其索引，最后呈現(xiàn)給用戶。
　　為了達(dá)到上述目的，需要解決以下幾個主要問題：
　　(1) HTML表單的形式繁雜，如何正確的發(fā)現(xiàn)提供深層網(wǎng)絡(luò)數(shù)據(jù)源接口的表單并將其有用信息提取出來。
　　(2) HT

3、ML表單的控件類型多種多樣，如何選取查詢值組合，尤其是如何生成文本框輸入值。
　　(3)如何從查詢返回頁面中提取有用信息。
　　針對以上問題，本文對傳統(tǒng)搜索引擎爬蟲進(jìn)行分析和優(yōu)化，給出深層網(wǎng)絡(luò)數(shù)據(jù)源發(fā)現(xiàn)及表單接口提取、自動填寫表單內(nèi)容、查詢返回頁面內(nèi)容抽取、深層網(wǎng)絡(luò)信息獲取過程中語義元數(shù)據(jù)的提取、抓取后頁面內(nèi)容更新等關(guān)鍵技術(shù)的解決方案和算法。最后在傳統(tǒng)爬蟲的基礎(chǔ)上進(jìn)行擴(kuò)展，構(gòu)建一個深層網(wǎng)絡(luò)信息發(fā)掘系統(tǒng)。同時，進(jìn)行實際運行測試