Deep Web數(shù)據(jù)源下重復(fù)記錄識(shí)別模型的研究.pdf

1、World Wide Web(WWW,或Web網(wǎng))自20世紀(jì)90年代發(fā)明以來就一直呈現(xiàn)蓬勃發(fā)展之勢(shì),到今天為止其蘊(yùn)含著海量的豐富資源,包羅萬象,是人類一筆寶貴的知識(shí)財(cái)產(chǎn)。Web網(wǎng)按其分布狀況可以分為“表層網(wǎng)(Surface Web)”和“深層網(wǎng)(Deep Web)”。Deep Web指那些存儲(chǔ)在網(wǎng)絡(luò)數(shù)據(jù)庫里、不能通過超鏈接訪問而需要通過動(dòng)態(tài)網(wǎng)頁技術(shù)訪問的資源集合。根據(jù)調(diào)查,DeepWeb中包含的信息量超過Surface Web上千倍,而

2、且這個(gè)比例仍在持續(xù)地上升。
　　 為了能夠有效利用DeepWeb中豐富的信息,建立DeepWeb數(shù)據(jù)集成系統(tǒng)成為了當(dāng)前最迫切的需求。由于Web數(shù)據(jù)庫的異質(zhì)性和自主性,對(duì)從各個(gè)Web數(shù)據(jù)庫中抽取結(jié)果的合并是一項(xiàng)十分具有挑戰(zhàn)性的工作。為了對(duì)抽取結(jié)果進(jìn)行清洗和去重,重復(fù)記錄識(shí)別則是數(shù)據(jù)合并過程中的一個(gè)必不可少的環(huán)節(jié)。
　　 本文概要介紹了重復(fù)記錄識(shí)別(即數(shù)據(jù)清洗和去重)問題及其應(yīng)用,詳細(xì)地闡述了實(shí)現(xiàn)重復(fù)記錄識(shí)別的不同方法以及它

3、們所應(yīng)用的結(jié)構(gòu)。針對(duì)已有的大多數(shù)的數(shù)據(jù)清洗方法主要是基于結(jié)構(gòu)化的關(guān)系數(shù)據(jù)的局限性,本文提出一種處理從DeepWeb數(shù)據(jù)源中抽取出的半結(jié)構(gòu)化數(shù)據(jù)的重復(fù)記錄識(shí)別模型。本模型主要由數(shù)據(jù)預(yù)處理模塊、同構(gòu)記錄處理模塊和異構(gòu)記錄處理模塊組成。
　　 “DeepWeb數(shù)據(jù)源下重復(fù)記錄識(shí)別模型”利用數(shù)據(jù)集成過程中的基于特定領(lǐng)域的全局模式來分析不同數(shù)據(jù)源的實(shí)體記錄值間的匹配關(guān)系,進(jìn)而大大提高了計(jì)算實(shí)體記錄間的相似度的準(zhǔn)確性。在計(jì)算來自不同數(shù)據(jù)源的