漢語分詞中未登錄詞識別及詞性標注的研究與實現(xiàn).pdf

1、本文主要介紹了漢語分詞中未登錄詞識別與詞性標注方法。未登錄詞是影響漢語分詞準確率的一個重要因素，未登錄詞包括人名、地名、時間名、數(shù)詞等，提高這類詞的識別率能夠在一定程度上提高漢語分詞的準確率；詞性標注是中文信息化處理的基礎(chǔ)性工作，其任務是用計算機來自動地標注出文本中所有詞的詞性。詞性標注在機器翻譯、自動摘要、信息檢索、Web文本挖掘、文本分類、文本校對、語音識別、語音合成等許多領(lǐng)域起著重要的作用，是自然語言處理的基礎(chǔ)性課題。提高詞性標注

2、的準確率，是提高自然語言處理效果的基礎(chǔ)之一，因此詞性標注的方法研究具有重要意義。 本文采用了統(tǒng)計與規(guī)則相結(jié)合的方法對未登錄詞進行識別，該方法解決了基于規(guī)則的方法帶來的規(guī)則獲取瓶頸問題，同時克服了基于統(tǒng)計的方法過于依賴語料庫的缺陷。實驗證明，統(tǒng)計與規(guī)則相結(jié)合的方法能有效的提高漢語分詞的準確率。 本文對詞性標注的方法進行了研究，分析了基于規(guī)則的方法和基于統(tǒng)計的方法的優(yōu)缺點。提出采用條件隨機場模型，通過概率訓練獲得了模型參數(shù)。

3、同時采用backoff參數(shù)平滑算法來解決了條件隨機場模型的數(shù)據(jù)稀疏問題。最后，運用Viterbi算法以句子為單位進行詞性標注。實驗證明，基于概率統(tǒng)計的-階條件隨機場模型以及Viterbi算法能有效的解決漢語詞性標注的問題。 另外，在漢語分詞的詞典結(jié)構(gòu)方面，本文提出了一種基于雙數(shù)組Trie加密的詞典存儲結(jié)構(gòu)，該詞典存儲結(jié)構(gòu)不僅能夠有效地提高詞典檢索效率、降低詞典的空間復雜度，并且克服了傳統(tǒng)雙數(shù)組詞典結(jié)構(gòu)裝載時間過長的缺點，同時，該