分詞詞典的構(gòu)建.pdf

1、隨著網(wǎng)上數(shù)字化信息資源的不斷增長，怎么樣自動處理這些信息已成為目前一個重要的研究課題，漢語自動分詞在中文海量信息處理中起著非常重要的作用。由于漢字之間沒有明顯的分詞標(biāo)志，如果簡單地以單個漢字作為信息處理的基本單元，既缺乏必要的語義表達(dá)，又帶來大量的冗余信息，因而分詞算法在中文信息處理的各個領(lǐng)域被廣泛應(yīng)用?，F(xiàn)有的漢語自動分詞系統(tǒng)大都是先基于詞典進(jìn)行匹配分詞，再利用句法語義關(guān)系和統(tǒng)計方法進(jìn)行歧義處理和未登錄詞處理。分詞詞典機制的優(yōu)劣直接影響

2、到分詞系統(tǒng)的速度和效率，因而建立高效快速的分詞詞典機制勢在必行。
　　 常用的分詞詞典機制有：基于逐字二分的詞典機制、整詞二分的詞典機制和基于TRIE索引樹的詞典機制。在對前面分詞詞典機制的分析中，前面的三種詞典都是以首字建立索引表，通過統(tǒng)計，我們知道在漢語中，二字詞和一字詞的出現(xiàn)概率遠(yuǎn)遠(yuǎn)大于其它字長的詞，依據(jù)這一現(xiàn)象，我們提出了以詞的前兩字為關(guān)鍵字建立索引表的想法。該索引表是一個二維數(shù)組，該算法是通過將前兩字的漢字內(nèi)碼與數(shù)組下