劣質(zhì)數(shù)據(jù)上真值發(fā)現(xiàn)關(guān)鍵技術(shù)研究.pdf

1、隨著信息時(shí)代的迅速發(fā)展，互聯(lián)網(wǎng)已經(jīng)逐漸成為人們獲取數(shù)據(jù)的主要方式。乃至當(dāng)今很多的數(shù)據(jù)管理應(yīng)用已經(jīng)擴(kuò)展到利用網(wǎng)絡(luò)數(shù)據(jù)源來(lái)集成數(shù)據(jù)。那么對(duì)于現(xiàn)實(shí)世界中的同一個(gè)實(shí)體，不同的數(shù)據(jù)源可能對(duì)其提供沖突的描述，那么如何從這些沖突的描述中找出所有真實(shí)的信息就是沖突消解問(wèn)題，我們主要研究語(yǔ)義上的沖突消解，也稱之為真值發(fā)現(xiàn)過(guò)程。
　　當(dāng)原始數(shù)據(jù)中混亂實(shí)體集的比例越來(lái)越大，現(xiàn)有的方法準(zhǔn)確率也逐漸降低。針對(duì)這一問(wèn)題，本文提出了一種基于信息熵的數(shù)據(jù)劃分方法

2、，將原始數(shù)據(jù)劃分成常規(guī)數(shù)據(jù)集和混亂數(shù)據(jù)集。通過(guò)基于概率模型的方法對(duì)常規(guī)數(shù)據(jù)集進(jìn)行消解，采用多維屬性對(duì)數(shù)據(jù)源進(jìn)行評(píng)估，并且充分考慮數(shù)據(jù)源之間存在的依賴關(guān)系，消除數(shù)據(jù)拷貝所帶來(lái)的影響。
　　由于混亂實(shí)體集中的實(shí)體描述集過(guò)于混亂，現(xiàn)有的方法并不能有效的計(jì)算出真值。于是提出一種基于網(wǎng)絡(luò)模式的消解方法，通過(guò)搜索引擎獲取相應(yīng)實(shí)體信息構(gòu)造該實(shí)體的候選描述集，通過(guò)一種高效的候選集評(píng)估模型從候選集中找出真值，同時(shí)，候選集規(guī)模采用動(dòng)態(tài)確定方式降低了計(jì)