中文分詞關(guān)鍵技術(shù)研究.pdf

1、中文分詞就是將中文連續(xù)的字序列按照一定的規(guī)則重新組合成詞序列的過程。其作為中文信息處理的基礎(chǔ)，已經(jīng)被廣泛應(yīng)用于相關(guān)領(lǐng)域。因此，對中文分詞的研究具有重要的理論和現(xiàn)實意義。本文將重點研究中文分詞的詞典機制、歧義消除、切分算法等技術(shù)。 本文鑒于語言的統(tǒng)計規(guī)律性，中文分詞算法使用詞典和統(tǒng)計相結(jié)合的方法。在核心詞典的組織方面，考慮到詞典查找的時間效率、存儲的空間效率、漢語詞組的統(tǒng)計規(guī)律等特點，使用雙字Hash索引分詞詞典機制，僅對詞組的前

2、兩個字符依次建立Hash索引，構(gòu)成深度為2的Trie樹，詞組的剩余字串則按序組成詞典正文。歧義消除和未登錄詞識別是中文分詞的兩大技術(shù)難點，本文重點研究交叉型歧義的檢測和消除。本文提出一種新的方法來檢測交叉型歧義產(chǎn)生的位置，即將所有候選詞條表示成二元切分詞圖，若原子字符的上方和右方同時不為空，則此處存在交叉型歧義。對于交叉型歧義的消除，則使用雙字耦合度和t-測試差相結(jié)合的方法來判斷是否切分。最后，把所有候選詞條以及它們之間的相鄰共現(xiàn)概率表