基于Simhash的英語句子快速檢索算法研究.pdf

1、隨著計算機的普及，計算機應(yīng)用技術(shù)的迅猛發(fā)展和全球一體化進程的不斷加深，使用不同語種的群體間的交流障礙日益突出。針對這一問題產(chǎn)生了機器翻譯（Machine Translate）這一嶄新學(xué)科，同時它也是人工智能的一個熱點研究領(lǐng)域。機器翻譯涉及到數(shù)學(xué)、語言學(xué)、計算機學(xué)等諸多領(lǐng)域，是一個典型的多邊緣交叉學(xué)科。可以毫不夸張地講，在進入21世紀(jì)之后，幾乎每一個生活在信息網(wǎng)絡(luò)時代的人，都要直接或間接地與機器翻譯打交道。無論在科學(xué)技術(shù)上、商業(yè)上還是政治

2、上，機器翻譯都無疑是一個非常重要的實用學(xué)科。
　　機器翻譯的最終目標(biāo)就是追求翻譯結(jié)果的信、達、雅，但受限于人類對自身認知水平研究的限制，翻譯結(jié)果并不能總是達到預(yù)期。經(jīng)過近百年的發(fā)展，出現(xiàn)了種類繁多的機器翻譯系統(tǒng)，例如基于規(guī)則的（Rule-Based Machine Translate，RBMT）、基于統(tǒng)計的（Statistics-Based Machine Translate，SBMT）等等。它們的使用環(huán)境不同，各有利弊。近年來，

3、隨著統(tǒng)計機器翻譯系統(tǒng)進入瓶頸期以及存儲技術(shù)的不斷發(fā)展，基于實例的機器翻譯方法（Example-Based Machine Translate，EBMT）日益受到青睞。實例機器翻譯方法不需要對句子進行深度的語法分析，只利用原始語料庫中的相似實例，進行匹配替換處理。語料庫中的相似實例越多，相似程度越高，翻譯結(jié)果就會越精確。本文主要針對實例機器翻譯系統(tǒng)中相似實例的查找過程進行研究，希望找到一種速度更快、相似度計算結(jié)果更貼近真實值的相似實例檢索

4、方法。
　　本文首先介紹了相似文本檢索和機器翻譯系統(tǒng)的研究現(xiàn)狀及各自存在的主要問題。其次，研究了Simhash算法的原理和基于向量空間模型(VSM)的TF-IDF方法。然后，重點介紹了本文提出的借助Simhash實現(xiàn)相似實例快速檢索的算法原理，各個關(guān)鍵環(huán)節(jié)的處理，以及需要用到的同義詞典—WordNet。接著，根據(jù)本文提出的方法，在VS2010平臺上，采用C++語言編程，搭建了一個相似實例檢索系統(tǒng)模型，它可以作為實例機器翻譯系統(tǒng)模型