中文詞法分析技術的研究與實現(xiàn).pdf

1、中文詞法分析是中文信息處理中的一項基礎性工作。詞法分析結(jié)果的好壞將直接影響中文信息處理上層應用的效果。本文針對詞法分析中的中文分詞、詞性標注和動詞細分類進行了深入的研究并實現(xiàn)了一個實用化的詞法分析系統(tǒng)IRLAS。通過權(quán)威的評測和實際應用表明，IRLAS是一個高精度、高質(zhì)量的、高可靠性的詞法分析系統(tǒng)。
　　眾所周知，切分歧義和未登錄詞識別是中文分詞中的兩大難點。文本采用了基于詞類的分詞概率模型，此模型把詞歸為若干類別并且把這些類別納

2、入到一個統(tǒng)一的概率模型框架下。通過選擇概率最大的切分路徑可以消除掉大部分的切分歧義。對于未登錄詞識別，文本采用了基于角色標注的未登錄詞識別方法，這種方法能充分利用未登錄詞的上下文信息并把未登錄詞識別的問題轉(zhuǎn)化為角色序列的標注問題。通過訓練角色的隱馬模型參數(shù)，再利用Viterbi算法即可標注出最優(yōu)的角色序列，也即完成了未登錄詞的識別。
　　詞性標注和動詞細分類可以為上層應用提供更豐富的語法信息，例如句法分析可以利用這些詞性信息進行句