基于詞典的中文分詞技術(shù)研究.pdf

1、隨著現(xiàn)代信息技術(shù)的發(fā)展，自動分詞技術(shù)已經(jīng)廣泛應(yīng)用在信息檢索、信息抽取、機器翻譯、語音合成等自然語言處理領(lǐng)域，同時結(jié)合中文文本的特點，自動分詞技術(shù)的研究已經(jīng)成為中文信息處理的一項基礎(chǔ)性課題。中文分詞技術(shù)主要研究將待處理文本利用分詞算法切分成詞，便于計算機對文本信息進行處理、理解和傳遞。在實現(xiàn)分詞的過程中，主要難點是歧義處理和未登錄詞識別。本文結(jié)合現(xiàn)有相關(guān)分詞技術(shù)理論與實現(xiàn)的方法，通過最大匹配算法與詞頻統(tǒng)計算法的結(jié)合，對中文文本分詞技術(shù)進行

2、深入研究與實踐。
　　 本文在傳統(tǒng)單一詞典基礎(chǔ)上，將其分為特征詞典和基本詞詞典兩部分，優(yōu)化分詞詞典中對于詞條的存儲結(jié)構(gòu)；采用雙字哈希索引結(jié)構(gòu)，將詞典中的詞按前兩個字為索引關(guān)建字進行存儲，提高匹配查找的速度和準(zhǔn)確率；增加對姓名、專屬名詞、地名和數(shù)量詞切分準(zhǔn)確性，提高分詞系統(tǒng)的性能指標(biāo)。同時，在分詞算法上，主要采用正向與反向最大匹配分詞結(jié)合的雙向分詞，將雙向匹配所產(chǎn)生的歧義字段應(yīng)用詞頻信息進行判斷，完成對詞語間歧義和未登錄詞的處理。