基于多粒度偏好的網(wǎng)絡(luò)文本抄襲檢測(cè)系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)時(shí)代的到來(lái)，人們獲取信息的方式從以前的報(bào)紙、雜志等發(fā)展到了現(xiàn)在的博客、論壇、微博等網(wǎng)絡(luò)途徑，人們可以隨時(shí)隨地的獲取最新的消息。人們對(duì)于優(yōu)質(zhì)信息的需求也不斷的變大，因此許多新聞網(wǎng)站、博客牛人應(yīng)運(yùn)而生，一篇好的文章，在帶來(lái)巨大的閱讀量的同時(shí)還能帶來(lái)巨大的收益。與此同時(shí)，科技發(fā)展也讓搜索變得更為方便，抄襲盜用的成本也大大降低，因此，侵權(quán)問(wèn)題時(shí)常發(fā)生，這不僅僅是對(duì)原創(chuàng)作者利益的侵害，而且在這種不道德的行為蔓延到整個(gè)行業(yè)后，對(duì)整個(gè)中國(guó)的創(chuàng)

2、新氛圍也會(huì)產(chǎn)生極為不利的影響。
　　基于以上背景，本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于多粒度偏好的網(wǎng)絡(luò)文本抄襲檢測(cè)系統(tǒng)，該系統(tǒng)的主要功能在于根據(jù)用戶提交的文本或 URL，檢測(cè)網(wǎng)絡(luò)上是否存在抄襲與被抄襲現(xiàn)象，并生成相似度報(bào)告與相似文本來(lái)源占比圖表。該系統(tǒng)的用戶主要分為個(gè)人與企業(yè)，個(gè)人用戶使用系統(tǒng)為網(wǎng)絡(luò)文本的原創(chuàng)作者提供被抄襲證據(jù)，保護(hù)原創(chuàng)作者的權(quán)益；企業(yè)級(jí)用戶使用系統(tǒng)檢測(cè)企業(yè)站點(diǎn)文章是否存在抄襲其他站點(diǎn)文章的情況，避免企業(yè)因此陷入法律糾紛。

3、r>　　本文主要工作內(nèi)容總結(jié)如下：
　　1)提出了一種基于《同義詞詞林》對(duì)傳統(tǒng)的基于空間向量的余弦算法進(jìn)行改進(jìn)的文本相似度算法，并從理論和實(shí)驗(yàn)結(jié)果兩個(gè)方面對(duì)該算法可行性進(jìn)行證實(shí)。
　　2)提出以多粒度的方式進(jìn)行文本相似度檢測(cè)。其中，多粒度表現(xiàn)在網(wǎng)絡(luò)爬蟲(chóng)與文本相似度計(jì)算兩個(gè)方面。具體表現(xiàn)分別為：根據(jù)文本類型的粒度選擇爬取相應(yīng)的網(wǎng)絡(luò)站點(diǎn)文本，如技術(shù)類文本選擇主要爬取CSDN、新浪博客等技術(shù)型站點(diǎn)，新聞?lì)愇谋局饕廊◎v訊新聞等新聞

4、網(wǎng)站等；根據(jù)用戶選擇的檢測(cè)粒度調(diào)用不同的算法對(duì)文本進(jìn)行相似度計(jì)算，如“快速檢測(cè)”粒度采用傳統(tǒng)的余弦算法，“普通檢測(cè)”粒度采用改進(jìn)的余弦算法，“詳細(xì)檢測(cè)”粒度則采用基于語(yǔ)義理解的文本相似度算法。
　　3)根據(jù)文本聚類結(jié)果檢測(cè)系統(tǒng)中使用的文本相似度算法的性能，通過(guò)與傳統(tǒng)余弦算法比較P、R、F三個(gè)評(píng)估參數(shù)值，確保系統(tǒng)中使用的算法在文本相似度檢測(cè)方面能達(dá)到用戶的需求。
　　4)對(duì)系統(tǒng)的功能和性能方面進(jìn)行評(píng)估，分析系統(tǒng)的優(yōu)勢(shì)以及不足之