文本抄襲檢測方法研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，信息共享度不斷升級，一方面為人們獲取資料提供了方便，另一方面也為抄襲、剽竊、非法擴散等不道德行為提供了可乘之機。文本抄襲檢測技術(shù)逐漸成為自然語言處理領(lǐng)域中一項重要的研究課題。
　　 內(nèi)部抄襲檢測和外部抄襲檢測是該研究領(lǐng)域的兩種檢測類型，近幾年，已經(jīng)取得了一系列進展，特別是在外部抄襲檢測方面。目前，越來越多研究者開始把目光轉(zhuǎn)向內(nèi)部抄襲檢測研究。本文針對這兩種檢測類型，在深入分析現(xiàn)有抄襲檢測系統(tǒng)的基礎(chǔ)上，分別

2、提出了自己的解決方案。本文的研究內(nèi)容主要包括：
　　 1．在有指導(dǎo)的監(jiān)督學(xué)習(xí)條件下，對文本內(nèi)部抄襲檢測研究進行了研究探索。通過對PAN語料的深入分析，從語言學(xué)的角度抽取了多種能夠反映文本寫作風(fēng)格的特征，并將特征歸納為字符、詞匯、詞性、短語等四大類別。利用文章內(nèi)部抄襲片段與文章整體之間通常會存在不一致性的特點，首先對文章整體及各個劃分片段分別抽取這些不同側(cè)面的風(fēng)格特征，其次將其量化表示得到風(fēng)格模型，最后利用SVM分類器識別文章中存

3、在異常的片段。在研究的過程中，重點考查了不同特征及其組合對系統(tǒng)性能的影響。
　　 2．研究外部抄襲檢測系統(tǒng)中常用的檢索模型，針對目前基于統(tǒng)計學(xué)的模型不能有效檢索出待測文本的候選文檔子集問題，本文提出了一種基于語義分析的文檔相似度計算方法，并將其應(yīng)用到候選文章檢索中。實驗證明通過對文檔之間進行語義分析和詞頻統(tǒng)計相結(jié)合的文本相似度計算，可以有效提高候選文章的召回率。
　　 3．在外部抄襲檢測系統(tǒng)的詳細分析部分，本文提出了一種

4、基于停用詞信息的抄襲段落定位方法，該方法利用停用詞在文本抄襲過程中保持穩(wěn)定性的特點，通過有效捕獲文章的結(jié)構(gòu)特征，發(fā)現(xiàn)文章之間的匹配內(nèi)容。同時為了定位抄襲內(nèi)容的邊界，我們先采用合并算法將相鄰的最長匹配的字符串進行合并，然后對檢測出的零星的線和點（改變說法的抄襲）通過聚類方法進行合并。實驗證明該方法在各種抄襲類型上均獲得了更高的準確率。
　　 本文通過分析和比較實驗結(jié)果發(fā)現(xiàn)上述方法將有助于提高抄襲檢測的性能，對今后該領(lǐng)域的研究具有一