基于n-gram的中文文本復(fù)制檢測研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的興起和普及，文本復(fù)制檢測技術(shù)成為自然語言處理領(lǐng)域興起的一個研究熱點，它在保護知識產(chǎn)權(quán)方面的重要性日益明顯。英文文本復(fù)制檢測技術(shù)發(fā)展較早，但由于中、英文語言天然存在差異，因此諸多英文自然語言復(fù)制檢測技術(shù)并不完全適用于中文。如何針對中文語言的特點設(shè)計出有效的檢測方法成為了日益被關(guān)切的問題。
　　抄襲者手段眾多，包括對句子進行增刪、同義詞替換甚至語句重述。不同的抄襲方法各有特點，采用單一的方法往往無法達到理想的檢測效果。

2、目前復(fù)制檢測受制于自然語言處理技術(shù)發(fā)展水平，無法真正深入到語義。基于字符串匹配和基于詞頻統(tǒng)計是復(fù)制檢測中最常用的兩種方法。本文主要以中文自然語言為研究對象，提出了一種統(tǒng)計任意長度n-gram頻率的方法。針對常見的抄襲現(xiàn)象，分別在詞匯片段、同義詞替換以及文本指紋方面展開了研究，主要研究成果如下:
　　(1)根據(jù)中文詞長的特點，針對最常見的二字詞提出了一種基于bigram的二級變長索引。該方法使用長度為2的滑動窗口，以字為單位對中文文

3、本進行切分。利用漢字編碼將漢字映射到索引的相關(guān)位置，在保證檢索效果的情況下，極大地縮減了索引空間。同時利用地址編碼的存放特點，使用高效的集合算法，實現(xiàn)對任意長度n-gram的檢索和頻率統(tǒng)計。同時，當(dāng)文本庫擴展時，索引無需重新構(gòu)建。
　　(2)使用Ferret方法，通過變換檢測單元長度，并計算各長度下的復(fù)制檢測準(zhǔn)確率、召回率等指標(biāo)，確定了適合中文的最佳片段長度。在此基礎(chǔ)上，提出了一種基于核心片段中心距離的中文文本復(fù)制檢測方法。使用該

4、方法提出的重疊度計算公式，可進一步提高基于片段匹配的中文文本復(fù)制檢測效果。
　　(3)現(xiàn)有的同義詞復(fù)制檢測方法都是基于單個詞語進行同義詞擴展，忽視了詞語在真實語言環(huán)境下的習(xí)慣搭配。針對這種情況，本文提出了一種基于同義詞搭配的擴展方法。采用對詞語搭配進行先擴展再過濾的方法，大大縮小了擴展集的規(guī)模，同時降低了檢測噪音。以此為基礎(chǔ)，提出了一種基于同義詞搭配的重疊度計算方法。實驗表明，該方法對于同義詞檢測有良好的效果。
　　(4)利