基于CSSN算法的重復(fù)記錄檢測(cè)研究.pdf

1、重復(fù)記錄檢測(cè)問題已有半個(gè)世紀(jì)的研究歷史，這個(gè)問題所具有的重要實(shí)際意義以及挑戰(zhàn)性使得其一直是一個(gè)非常熱門的研究方向，吸引了包括統(tǒng)計(jì)學(xué)、生物學(xué)、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、人工智能、信息檢索、知識(shí)工程、數(shù)據(jù)庫等等領(lǐng)域的大量專家學(xué)者。本文對(duì)重復(fù)記錄檢測(cè)算法進(jìn)行了研究，主要工作有:
　　(1)對(duì)重復(fù)記錄檢測(cè)領(lǐng)域進(jìn)行了廣泛調(diào)研并詳細(xì)綜述了相關(guān)研究成果。首先將重復(fù)記錄檢測(cè)工作分為三個(gè)階段，然后對(duì)各個(gè)階段使用的技術(shù)和算法進(jìn)行了歸類整理，最后歸納總結(jié)了重

2、復(fù)記錄檢測(cè)的評(píng)價(jià)標(biāo)準(zhǔn)和檢測(cè)框架。
　　(2)針對(duì)一個(gè)典型的基于聚類的CSSN重復(fù)記錄檢測(cè)算法進(jìn)行了算法效率改進(jìn)。首先對(duì)CSSN算法的功能性能進(jìn)行了實(shí)驗(yàn)驗(yàn)證，并詳細(xì)分析了算法各步驟的時(shí)間復(fù)雜度，然后在分析基礎(chǔ)上來降低算法的時(shí)間復(fù)雜度。實(shí)驗(yàn)表明，效率改進(jìn)后的CSSN算法可以在基本不影響算法準(zhǔn)確度的情況下將算法的時(shí)間復(fù)雜度從原來平方級(jí)的降低至近似線性的。
　　(3)對(duì)效率提高后的CSSN算法進(jìn)行了通用性擴(kuò)展。首先對(duì)CSSN算法的通