基于漢字部件直方圖的文本復制檢測技術研究.pdf

1、文本復制檢測技術是文本相似度計算的一項基礎應用，在網頁去重、知識產權保護、搜索引擎、數字圖書館等方面發(fā)揮著重要作用。但是針對中文文本的復制檢測技術起步較晚，且由于中文文本的精深復雜，中文文本復制檢測技術更難于實現。因此，該領域值得我們進一步開展研究和探討。
　　本文首先對該領域內基于字符匹配和基于詞頻統(tǒng)計的兩類復制檢測算法做了較為詳細的論述，歸納和總結了現有算法各自的特點和不足。針對其文本特征表示向量高維且稀疏、相似度計算復雜、資

2、源利用率低等問題，本文提出了一種新的基于漢字部件直方圖的文本復制檢測模型。論文的主要工作如下:
　　1)提出了以漢字部件直方圖作為文本指紋特征的提取方法。首先根據漢字的結構特征和漢字的數學表達式理論將整個文本中出現的所有漢字進行部件拆分，接著分別對每種漢字部件進行計數統(tǒng)計，通過概率計算公式得到每種漢字部件在該文本中出現的概率，然后以漢字的部件編號為橫坐標，以部件概率為縱坐標，做出統(tǒng)計圖，稱為文本漢字部件直方圖，最終以此漢字部件直方

3、圖作為該文本的指紋特征標識。
　　2)提出了通過計算部件直方圖間的距離匹配值作為待檢測文本之間復制檢測結果的判斷標準。本文分別設計了4種距離對比標準進行文本部件直方圖間的距離匹配值運算，并通過實驗分析最終選取了最合適的巴氏距離作為衡量直方圖相似度距離的計算公式。
　　3)采集了一定規(guī)模的數據源進行算法的模擬和實現。本文通過搜集400個詞條文檔作為數據源開展實驗，實驗結果表明基于漢字部件直方圖的文本復制檢測算法具有較好的查準率