Deep Web查詢接口聚類的研究.pdf

1、隨著互聯(lián)網技術日新月異的發(fā)展,Web中蘊含的信息也在極速的擴張著。從網絡中信息的隱含的層次深度來看。我們可以將Web劃分“Surface Web”(表層網)和“Deep Web”(深層網)?！癝urface Web”是指那些我們無需向網絡提交查詢或請求而可以直接訪問的 Web頁面,這也是傳統(tǒng)的搜索引擎,如:百度、google等當前所涉及的搜索領域;而對于“Deep Web”,用戶必須通過填寫表單或提交請求,才能獲取所需數據。并且“Dee

2、p Web”中的信息具有以下5方面特點:(1)傳統(tǒng)的搜索引擎無法獲取;(2)用戶通過填寫表單來獲取信息;(3)蘊含的信息質量更高,數量更大;(4)領域特征明顯;(5)大部分可以免費訪問。而傳統(tǒng)的通用搜索引擎的搜索結果僅僅覆蓋了“Surface Web”,因此并不能為用戶返回有效的查詢結果。為了向用戶提供高效的Deep Web信息搜索服務,關鍵是要向用戶提供一個包含各個領域的統(tǒng)一的集成查詢接口。正如百度和谷歌那樣,一個簡單的搜索框。在研究

3、Deep Web數據集成時,由于Deep Web的特殊性,使研究工作面臨種種困難,目前一個公認的有效途徑就是按照領域來進行Deep Web數據集成。而如何對不同領域的Deep Web查詢接口進行有效的聚類,便成為生成集成查詢接口時需要解決的核心問題之一。并且已經成為當前學術界和商業(yè)界的研究熱點。
　　論文圍繞Deep Web查詢接口聚類這一核心問題展開。所做的研究工作及貢獻如下:
　　一、對Deep Web領域整體的研究背景

4、、研究現(xiàn)狀、發(fā)展趨勢和需要解決的關鍵問題進行了分析和總結。為后續(xù)研究工作打下基礎。
　　二、對Deep Web查詢接口預處理進行初步探索。對本體相關概念、體構建方法和本體構建工具進行深入研究。通過構建領域本體,對Deep Web查詢接口進行語義擴展。增加同一領域內查詢接口的相似度。解決部分查詢接口屬性稀疏的問題。
　　三、提出了基于潛在語義分析的Deep Web查詢接口聚類算法。為解決Deep Web查詢接口聚類時“一詞多義

5、”的問題開辟新的思路。首先對潛在語義分析(LSA)的理論進行了深入研究,在查詢接口聚類時引入潛在語義分析的方法,消除噪聲數據,發(fā)掘出查詢接口之間的內在語義關系。實驗結果表明,新算法得出的實驗結果要優(yōu)于傳統(tǒng)的基于向量空間模型(VSM)的方法。
　　四、研究在海量數據情況下,如何提升查詢接口聚類算法的性能。考慮到 Deep Web查詢接口逐漸呈現(xiàn)出海量的特性,以及大數據時代的到來。對Hadoop分布式平臺和MapReduce編程模型進