基于特殊標(biāo)志符的中文分詞算法研究.pdf

1、中文信息處理是一個繁瑣而龐大的信息處理工程，中文分詞的處理則是整個工程當(dāng)中的一個基礎(chǔ)且重要的環(huán)節(jié)。計算機對漢語的理解，首先要對句子能夠進(jìn)行有效而正確的識別，要正確的理解一句話，則要進(jìn)行正確而恰當(dāng)?shù)姆衷~，在詞的基礎(chǔ)上來理解語句。然而，在對比中文和英文時了解到，英文句子的組成是以詞為單位，并用空格來隔開相鄰的單詞；而中文卻是以字為單位，由字連成句子來表達(dá)一個完整的意思。計算機可以很容易地理解一個英文單詞，從而相應(yīng)的做出判斷；而對由單個字組成

2、的中文句子則須先通過中文分詞技術(shù)，將整句劃分為單個詞才能理解。因此，中文分詞的過程就是用一定的分詞規(guī)則將整句劃分為分散的字或詞的過程。本文主要對中文分詞技術(shù)進(jìn)行了以下幾個方面的研究。
　　 首先，簡要介紹了本課題的研究背景，本課題的主要研究內(nèi)容和研究意義；
　　 明確研究的方向才能繼續(xù)下一步的研究工作。介紹了中文分詞及相關(guān)技術(shù)在國內(nèi)外的發(fā)展現(xiàn)狀，列舉了一些典型的分詞算法和分詞系統(tǒng)，定義了中文分詞的基本概念，為后來的深入學(xué)

3、習(xí)研究提供前期可借鑒的經(jīng)驗基礎(chǔ)。
　　 其次，在對前人提出的研究成果基礎(chǔ)之上進(jìn)行深入分析，比較現(xiàn)有的分詞技術(shù)和分詞系統(tǒng)各自的優(yōu)點和缺點，并指出了中文分詞所面臨的難點；結(jié)合對以上的分析作者提出了一種基于特殊標(biāo)志符的分詞方法。在對漢語詞性的分析和研究基礎(chǔ)上，根據(jù)漢字在漢語中的詞性表現(xiàn)，通過大量的文獻(xiàn)參照，總結(jié)并提出了漢語特殊標(biāo)志符集，為本文下一步進(jìn)行的分詞方法的研究和實現(xiàn)奠定基礎(chǔ)。
　　 再者，對現(xiàn)有的分詞詞表結(jié)構(gòu)進(jìn)行分析比

4、對，理解各種分詞詞典機制的優(yōu)缺點，并結(jié)合中文字詞的一些表象特性，作者提出了一種改進(jìn)的以二字詞為詞根的中文詞表結(jié)構(gòu)，并對該詞表結(jié)果做了詳細(xì)的結(jié)構(gòu)解釋和說明，對比其在結(jié)構(gòu)上的分詞優(yōu)勢。
　　 最后，作者將特殊標(biāo)志符集與改進(jìn)的新詞典結(jié)構(gòu)相結(jié)合，在實驗室環(huán)境下對本文的分詞方法進(jìn)行測試，使用SOUGOU 訓(xùn)練語料庫中的實驗文本分別在本課題分詞系統(tǒng)中和其他分詞系統(tǒng)中進(jìn)行分詞實驗，通過人工對本課題的研究成果進(jìn)行準(zhǔn)確度和分詞速度的測試上的比對。