文本自動(dòng)比對(duì)研究與應(yīng)用.pdf

1、互聯(lián)網(wǎng)與計(jì)算機(jī)技術(shù)的迅速發(fā)展,各種資源呈爆炸式增長(zhǎng),共享程度越來(lái)越高,給工作和生活帶來(lái)極大的便利,成為人們傳遞和交流信息的重要平臺(tái)。但是與此同時(shí),造成了網(wǎng)頁(yè)重復(fù)率高、知識(shí)產(chǎn)權(quán)侵占以及信息的泄密等問(wèn)題。如何快速、準(zhǔn)確的檢測(cè)出相似內(nèi)容已成為我們研究的焦點(diǎn)。另一方面,文本相似度比較作為自然語(yǔ)言處理的重要基礎(chǔ)與內(nèi)容,被廣泛用于文本分類(lèi)、聚類(lèi)、信息檢索、文本復(fù)制檢測(cè)等領(lǐng)域,一直受到眾多學(xué)者的普遍關(guān)注與研究,因此,文本相似度比較是解決這些問(wèn)題有效的

2、方法之一,在理論和實(shí)際應(yīng)用中都具有重要的意義。
　　 本文圍繞以上問(wèn)題,進(jìn)行了深入的研究與實(shí)踐。論文主要工作包括:
　　 首先,將文本相似度比較技術(shù)首次引入到涉密文本的泄密檢測(cè)中,為目前涉密文本的泄密檢測(cè)仍然停留在人工檢測(cè)的基礎(chǔ)上增加了一種有效的方法與途徑。主要工作有:一是提出了一種基于自然語(yǔ)言處理的文本泄密自動(dòng)檢測(cè)技術(shù)。該方法以基于VSM的相似度比較模型為基礎(chǔ),結(jié)合中文分詞、文本加密、Web信息抽取等其它自然語(yǔ)言處理技

3、術(shù),旨在不泄密的前提下,通過(guò)不可逆加密算法,利用Web信息抽取技術(shù),對(duì)密文進(jìn)行相似度比較,檢測(cè)特定網(wǎng)站是否存在涉密文本以及泄密的程度。二是對(duì)于特定網(wǎng)站內(nèi)容的獲取研究,結(jié)合視覺(jué)分塊的Web信息抽取優(yōu)點(diǎn),提出一種基于正則表達(dá)式的深層次網(wǎng)頁(yè)文本抽取方法,以此作為比較的數(shù)據(jù)源。
　　 其次,將目前文本相似度檢測(cè)技術(shù)與其他自然語(yǔ)言處理技術(shù)相結(jié)合,實(shí)現(xiàn)了基于自然語(yǔ)言處理的文本相似度檢測(cè)系統(tǒng)。該系統(tǒng)實(shí)現(xiàn)了篇章、段落到語(yǔ)句的多層次檢測(cè)；拓寬了比

4、較方式,功能上涵蓋了普通文本與涉密文本的檢測(cè)；數(shù)據(jù)源包括本地文本和互聯(lián)網(wǎng)文本信息:相似部分能自動(dòng)定位標(biāo)注。
　　 本文的主要特色與創(chuàng)新之處:
　　 1、將文本相似度比較技術(shù)首次引入到涉密文本的泄密檢測(cè)中。有效的解決目前泄密檢測(cè)仍采用人工檢測(cè)方式的問(wèn)題,并且保證涉密文本的安全性。
　　 2、設(shè)計(jì)并實(shí)現(xiàn)了基于自然語(yǔ)言處理的文本相似度檢測(cè)系統(tǒng)。該系統(tǒng)具有多層次、多數(shù)據(jù)源、多比較方式、多功能以及多線(xiàn)程計(jì)算的特點(diǎn)。