Web數(shù)據(jù)庫重疊估計(jì)技術(shù)研究.pdf

1、集成Deep Web中的數(shù)據(jù)信息是一項(xiàng)非常重要的工作，在這項(xiàng)工作中常會(huì)遇到信息冗余和記錄去重問題，它們常成為集成工作成敗的關(guān)鍵。估計(jì)web數(shù)據(jù)庫重疊率，可以優(yōu)化信息冗余和記錄去重工作，減少集成的盲目性。 本論文主要包含三部分內(nèi)容： 1.提出了在理想情況下的web數(shù)據(jù)庫重疊估計(jì)方法，包括一種樸素方法和在樸素方法基礎(chǔ)上的改進(jìn)方法。樸素方法研究覆蓋了從采樣到估計(jì)的整個(gè)流程，但忽略了web的復(fù)雜性；改進(jìn)方法通過高頻字采樣，提高采

2、樣和估計(jì)效率。 2.針對(duì)理想情況下的web數(shù)據(jù)庫重疊估計(jì)方法省略掉的web數(shù)據(jù)庫記錄匹配問題，提出了web數(shù)據(jù)庫重疊估計(jì)中的實(shí)體識(shí)別方法。根據(jù)Deep Web查詢接口和返回記錄的特點(diǎn)，引入領(lǐng)域知識(shí)和預(yù)處理，計(jì)算記錄相似度，從工程的角度降低識(shí)別復(fù)雜度，提高識(shí)別準(zhǔn)確性和效率。 3.為了進(jìn)一步提高重疊估計(jì)的適應(yīng)性，提出了web數(shù)據(jù)庫重疊估計(jì)的修正方法，通過回歸分析建立數(shù)據(jù)庫相似度和估計(jì)偏差之間的關(guān)系，利用數(shù)據(jù)庫相似度預(yù)測(cè)估計(jì)偏