Deep web數(shù)據(jù)源的自動識別與分類研究.pdf

1、DeepWeb深度網(wǎng)絡(luò)資源，又稱作不可見網(wǎng)或隱藏網(wǎng)（譯為InvisibleWeborHiddenWeb），它常常被人稱為谷歌查不到的網(wǎng)絡(luò)信息，這些信息不屬于我們所熟知的那些標準搜索引擎所能夠搜索到的。通常認為搜索引擎查不到的信息要占網(wǎng)絡(luò)全部信息的90％。據(jù)BrightPlanet公司技術(shù)白皮書的中描述，DeepWeb資源容量約為SurfaceWeb的500倍，而且包含著更多有價值的資源。超過一半的DeepWeb內(nèi)容都保存在專業(yè)領(lǐng)域的數(shù)據(jù)

2、庫中。海量的表面信息固然可以通過普通的搜索引擎查詢到，可是還有相當大了的信息由于隱藏在深處無法被搜索引擎查到，而且DeepWeb數(shù)據(jù)源同時又是不斷變化的，絕大部分隱藏的信息必須通過動態(tài)請求產(chǎn)生網(wǎng)頁信息，標準的搜索引擎是沒有辦法對它進行查找的。因為這些動態(tài)請求產(chǎn)生的網(wǎng)頁信息必須要通過DeepWeb查詢接口來獲取，使得DeepWeb信息獲取變的更加困難，為了有效的獲取DeepWeb信息，我們必須要對DeepWeb進行數(shù)據(jù)自動識別和分類。

3、r>　　 本文通過對DeepWeb數(shù)據(jù)源的自動識別和分類研究這兩大重點問題展開深入研究。主要的研究內(nèi)容包括:
　　 (1)對普通網(wǎng)頁表單及DeepWeb網(wǎng)頁的表單特征進行分析，經(jīng)過合并、添加、篩選得到的得到本文采用的表單特征提取方案，包含各控件值，控件數(shù)量，包含語義信息的詞條等一系列特征值作為分類屬性。
　　 (2)DeepWeb數(shù)據(jù)集成的關(guān)鍵問題研究，查詢接口的識別及分類判定。針對樸素貝葉斯方法的限制，使用粗糙集算法

4、進行優(yōu)化約簡。該方法利用兩次隨機抽樣建立基于樸素貝葉斯算法的分類器組，利用粗糙集算法的屬性約簡方法進行分類器組的約簡處理，然后利用優(yōu)化后的分類器組進行分類，對得到的分類結(jié)果進行加權(quán)平均，得到最終的分類結(jié)果。實驗結(jié)果顯示，在優(yōu)化后的貝葉斯分類分類器組，對DeepWeb查詢接口及其分類的查準率及查全率上均有明顯提高。
　　 (3)DeepWeb數(shù)據(jù)源識別及分類性能對比。將數(shù)據(jù)挖掘中的幾種分類方法，如:C4.5決策樹、ID3等以及本文

5、算法進行分析對比，在查全率和查準率上效果驗證了此方法可行。
　　 本文所采取的方法是分析現(xiàn)有的相關(guān)研究，通過對DeepWeb數(shù)據(jù)源的學習和分析，并在目前已有的研究成果的之上，通過改進的算法，加以實驗數(shù)據(jù)來驗證我們的算法的有效性。從實驗的結(jié)果來看本文的方法還是比較滿意的。實驗中難免存在不足之處，在今后的研究中我們將進一步的對相關(guān)問題和算法進行修正。DeepWeb的研究如今還有一段很長的路要走，存在的難題需要廣大的研究者們逐個的去解