面向Deep Web數據集成的數據融合問題研究.pdf

1、隨著互聯網技術的進步和發(fā)展，Web包含了越來越多的豐富信息，從而使Web成為了一個巨大的、分布廣泛的、全球化的在線信息源。尤其是近些年來，各式各樣的大型數據庫逐漸建立起來，以應對各種個人或商業(yè)需求，Web已經逐漸成為人們生活中必不可少的一部分。Web上的數據雜亂無章，信息種類復雜多樣，如果按照數據被訪問的途徑，可將整個Web分為SurfaceWeb(淺層網絡)和DeepWeb（深層網絡）。其中，SurfaceWeb是指Web中通過超鏈接

2、可以被傳統(tǒng)搜索引擎索引到的靜態(tài)頁面的集合;而DeepWeb是指Web中可訪問的在線數據庫，其內容不能被傳統(tǒng)的搜索引擎索引，而是隱藏在查詢接口后面。通過研究表明，DeepWeb有數據量大、領域覆蓋全面、主題性強、信息結構化程度高等特點。為了充分利用這些寶貴的資源，用于進一步的分析和挖掘，我們迫切的需要對DeepWeb進行數據集成。
　　 在各個領域，DeepWeb信息量呈爆炸式增長著，數據源的種類和信息的類型也越來越多樣化。然而，

3、這些信息是并不總是可信的，而且不同的數據源往往提供提供異構的、沖突的數據，如何從這些海量的信息中獲得人們所真正需要的、正確的信息，成為信息集成所面臨的一大挑戰(zhàn)。因此，我們需要通過數據融合來去偽存真，獲得高質量的數據，為分析決策提供支持。
　　 數據融合技術已經獲得了越來越多的關注，許多研究工作者也在這一領域做出了很多的貢獻。目前，數據融合工作仍然存在以下問題有待解決:(1)DeepWeb上的數據源質量參差不齊，其提供的值的質量也

4、差別很大，質量較高的數據源所提供的值的置信度往往更高。所以我們需要在數據融合之前首先對各個數據源進行質量評估，并將評估結果運用到真值發(fā)現的過程中去(2)目前還沒有一個較為完善、標準的方法來進行數據融合，所以需要綜合考慮數據源的準確度、數據源之間的依賴、值之間的牽連度等若干因素，來解決數據沖突，發(fā)現真值。
　　 本文以面向DeepWeb的數據集成為目標，在DeepWeb數據源質量評估和真值發(fā)現方法等方面做了很多的研究和探索，主要工

5、作和貢獻概括如下:
　　 1.本文提出了一種DeepWeb數據源質量評估模型。DeepWeb上各個數據源有很大的差異性，不同質量的數據源往往提供不同質量的數據。但是，目前大部分數據融合的研究并不專門對數據源進行質量評估，而是在計算之初給各個數據源質量賦相同的初值，并通過迭代算法不停的改進和完善數據源的質量。為了更好的進行數據融合，我們提出了一種在數據融合之前進行DeepWeb數據源質量評估的方法，該方法將針對數據融合的特點，選取

6、數據質量、接口頁面質量和服務質量三個維度的多個因素作為評估標準，分別對各個質量評估因素進行量化，最后對各個數據源的質量進行統(tǒng)一評分，得到各個數據源的質量評估結果，并將評估結果運用到之后的數據融合中去。實驗證明，我們的模型能夠對數據源質量進行較為準確的評估，并且如果將得到的評估結果運用到數據融合過程中，可以對數據融合有明顯的改進作用。
　　 2.本文提出了一種面向DeepWeb數據集成的真值發(fā)現方法。在各個領域，DeepWeb上的

7、數據量激增，同時也存在著大量的沖突數據，所以如何從這些大量沖突數據中發(fā)現人們所需要的、正確的值變得至關重要。我們結合自己的研究背景（面向市場情報的數據集成），提出了一種面向DeepWeb數據集成的數據融合計算模型。該模型綜合考慮了數據源的準確度、數據源之間的依賴度、不同值之間的牽連度等因素，從沖突數據中找到真值。由于這幾個因素之間是相互作用的，所以我們迭代的計算這幾個因素，不停的改進這些因素的值，直到結果收斂。同時我們也將數據源質量評估