基于局部敏感哈希的實(shí)例匹配技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，數(shù)據(jù)與日俱增，用戶更加關(guān)心信息獲取的實(shí)時(shí)性、準(zhǔn)確性和相關(guān)性，而面向文檔的互聯(lián)網(wǎng)已無法滿足當(dāng)前的需求。語義網(wǎng)是一個(gè)面向數(shù)據(jù)的網(wǎng)絡(luò)，它把所有的數(shù)據(jù)都關(guān)聯(lián)在一起，使得用戶能夠通過它更快地獲取到最準(zhǔn)確、最相關(guān)的信息。近年來，語義網(wǎng)的數(shù)據(jù)集迅猛增長，但由于并沒有統(tǒng)一的模式標(biāo)準(zhǔn)，很多新發(fā)布的數(shù)據(jù)孤立存在，因此數(shù)據(jù)集成的需求越來越重要。本文選擇實(shí)例匹配作為研究目標(biāo)，旨在從兩個(gè)語義網(wǎng)數(shù)據(jù)集中把描述相同事物的實(shí)例提取出來。

2、>　　本文分析并總結(jié)了實(shí)例匹配技術(shù)在國內(nèi)外的研究現(xiàn)狀，列舉了一些成熟的實(shí)例匹配系統(tǒng)，在此基礎(chǔ)上選擇目前數(shù)據(jù)挖掘領(lǐng)域高度關(guān)注的一種處理海量高維數(shù)據(jù)相似性發(fā)現(xiàn)的方法——局部敏感哈希作為主要基礎(chǔ)，對(duì)實(shí)例匹配技術(shù)進(jìn)行深入研究，主要工作包括：
　　第一，對(duì)齊兩個(gè)語義網(wǎng)數(shù)據(jù)集的模式信息，分析數(shù)據(jù)集的一些統(tǒng)計(jì)特征，計(jì)算謂語覆蓋率和謂語辨別率來篩選重要謂語，并通過賓語的Jaccard距離實(shí)現(xiàn)謂語匹配。
　　第二，用向量空間模型表示實(shí)例的數(shù)據(jù)

3、集，借助局部敏感哈希算法來實(shí)現(xiàn)對(duì)相似實(shí)例的快速提取，詳細(xì)介紹了將實(shí)例的空間向量轉(zhuǎn)化為最小哈希簽名矩陣的過程，設(shè)計(jì)并實(shí)現(xiàn)了面向最小哈希及余弦距離的局部敏感哈希方案，同時(shí)給出了局部敏感哈希的分布式實(shí)現(xiàn)策略。
　　第三，根據(jù)謂語匹配置信度對(duì)局部敏感哈希算法得到的實(shí)例候選集進(jìn)行精煉驗(yàn)證，計(jì)算得到最后的實(shí)例匹配結(jié)果。
　　本文在真實(shí)的數(shù)據(jù)集上進(jìn)行了大量的對(duì)比實(shí)驗(yàn)，對(duì)主要工作進(jìn)行了驗(yàn)證。實(shí)驗(yàn)結(jié)果表明本文提出的實(shí)例匹配方案能夠快速實(shí)現(xiàn)對(duì)兩