基于多步處理策略的漢語自動分詞研究.pdf

1、自然語言處理是人工智能的一個重要分支。漢語自動分詞是中文自然語言處理的一項基礎(chǔ)性工作，也是中文信息處理的一個重要問題。漢語自動分詞系統(tǒng)是利用計算機(jī)對漢語文本進(jìn)行詞語自動識別的系統(tǒng)，對其研究已經(jīng)取得了很多成果，但已有的系統(tǒng)還不能完全滿足實際應(yīng)用的需要，有待繼續(xù)研究。 本文主要目標(biāo)是設(shè)計并實現(xiàn)一個漢語自動分詞系統(tǒng)。在分析了自動分詞面臨的主要困難和難點的基礎(chǔ)上，旨在降低分詞難度和提高分詞精度，設(shè)計并實現(xiàn)了一個基于多步處理策略的漢語自動

2、分詞系統(tǒng)。論文的主要工作如下： 論文首先介紹了漢語自動分詞系統(tǒng)通常采用的語言模型和分詞算法，提出了基于詞性信息和規(guī)則相結(jié)合的時間語詞消歧算法。時間語詞包括時點語詞和時段語詞，特定類型時間語詞在切分時存在是時點還是時段的問題。本文提出的算法開放測試正確率約為90％，表明了該算法的有效性。 其次搜集、整理和建立了研究所用的自然語言資源。主要包括人工切分標(biāo)注語料的搜集、加工和整理，生語料的搜集及加工，分詞詞典和為分詞提供決策依

3、據(jù)知識的分詞知識庫的建立。還對文本中的非漢字字符、漢字?jǐn)?shù)字串歸并進(jìn)行了探索。 論文的核心工作是設(shè)計并實現(xiàn)了一個基于多步處理策略的漢語自動分詞系統(tǒng)。系統(tǒng)包括初切分，詞性標(biāo)注、歧義字段處理、模型平滑、未登錄詞識別等功能模塊。初切分是找出待切分語句各種可能路徑；歧義字段處理包含利用詞的二元模型或分詞詞性標(biāo)注一體化模型處理交集型歧義，利用支持向量機(jī)理論處理組合型歧義；未登錄詞識別已實現(xiàn)的功能是利用詞性探測法識別中文姓名；模型平滑技術(shù)體現(xiàn)