Deep Web數(shù)據(jù)源發(fā)現(xiàn)和分類研究.pdf

1、互聯(lián)網(wǎng)的飛速發(fā)展使Web信息量不斷膨脹，網(wǎng)絡正在迅速深化。由于大量的信息都隱藏在查詢接口之后，無法利用傳統(tǒng)的搜索引擎技術獲取，這類信息被稱為DeepWeb。高速增長的DeepWeb信息已成為人們進行信息獲取的重要來源，但由于DeepWeb信息的異構(gòu)性和動態(tài)性，使用起來非常不方便，因此，面向Deep Web的數(shù)據(jù)集成系統(tǒng)便應運而生。
　　 本文對Deep Web數(shù)據(jù)源發(fā)現(xiàn)和分類所涉及到的相關技術進行了深入研究，并提出了相關模型和機

2、制，有效的解決了傳統(tǒng)方法的局限性。主要研究工作包括：
　　 1.討論了一種利用搜索引擎來發(fā)現(xiàn)數(shù)據(jù)源的方法。為了能夠向搜索引擎提交高質(zhì)量的關鍵詞，將本體作為等級化組織詞匯的架構(gòu)引入到初始詞構(gòu)建過程中。對所有詞匯按照在當前領域中出現(xiàn)頻率高低進行分類，并根據(jù)搜索引擎返回接口集元素數(shù)量進行二次分類，確保關鍵詞是對發(fā)現(xiàn)數(shù)據(jù)源查詢接口貢獻較大的詞匯。
　　 2.提出了一種利用模糊集和概率模型分類數(shù)據(jù)源的方法。對各領域中的詞匯按照其對

3、當前領域的貢獻程度分為特征詞和常用詞。為了能夠在網(wǎng)頁文本中找出更加精確的詞匯，將模糊集作為歸一化詞匯的工具引入到特征詞集和常用詞集精簡的過程中，并且將歸一化后的詞匯在各領域上建立概率模型，通過計算數(shù)據(jù)源表單向量與各領域向量之間距離來分類。
　　 3.研究了一種網(wǎng)絡表單分類器改進機制，該機制主要將pre-query和post-query技術結(jié)合來使各種分類錯誤的表單進行二次分類，使這些表單能重新分類到正確的領域中。在分類前利用各領