大規(guī)模文本去重策略研究.pdf

1、隨著Internet的不斷發(fā)展，網(wǎng)絡(luò)信息共享給人們帶來了極大的方便，但同時引入了大量轉(zhuǎn)載信息。去除重復(fù)網(wǎng)頁可以提高搜索引擎的搜索精度，減少海量數(shù)據(jù)存儲空間，改善用戶的體驗：另外重復(fù)信息的檢測有利于打擊文章的剽竊抄襲，保護(hù)作者的原創(chuàng)性。綜上網(wǎng)頁的重復(fù)檢測是非常有研究意義的課題。 網(wǎng)頁去重和科技論文抄襲是重復(fù)凸顯的兩個問題。目前的算法以關(guān)鍵詞去重、指紋去重為主，解決程序重復(fù)及文檔重復(fù)的論述居多，而對網(wǎng)頁噪聲的影響考慮的較少，另外搜索

2、引擎實際上是超大規(guī)模的網(wǎng)頁去重的應(yīng)用，如何提高去重效率也是本項研究的需要解決的主要問題。 本文分別針對以上兩類重復(fù)提出了相應(yīng)的解決策略。從理論和應(yīng)用兩方面對去重算法及其應(yīng)用進(jìn)行了較為系統(tǒng)的研究，概括如下： (1)大規(guī)模網(wǎng)頁去重。網(wǎng)頁重復(fù)以轉(zhuǎn)載為主，去重的瓶頸是如何降低網(wǎng)絡(luò)噪聲的影響和提高去重效率。本文針對網(wǎng)頁噪聲形式多樣，去除噪聲規(guī)則不易移植的局限性，論述了基于節(jié)點重復(fù)的較為普適的去除噪聲的方法。為了增大網(wǎng)頁去重的準(zhǔn)確性

3、，然后提出基于最大塊的網(wǎng)頁特征抽取算法，并與傳統(tǒng)的方法加以比較進(jìn)行分析。最后，本文應(yīng)用Bloom Filter的特征碼映射和B-Tree的特征碼組織形式，保證了大規(guī)模網(wǎng)頁去重的效率。 (2)科技論文抄襲檢測。當(dāng)前科技論文抄襲嚴(yán)重，但針對科技論文抄襲的自動檢測的學(xué)術(shù)研究不多。本文對科技論文的抄襲檢測做出了嘗試。首先將科技論文應(yīng)用bootstrapping算法進(jìn)行主題詞擴(kuò)展，并根據(jù)主題詞的重復(fù)情況粗分重復(fù)組，然后提出基于滑動窗口的加