基于條件隨機(jī)場模型的新詞發(fā)現(xiàn)系統(tǒng)研究與實(shí)現(xiàn).pdf

1、新詞發(fā)現(xiàn)是自然語言處理領(lǐng)域一個(gè)非常重要的課題。它對詞典構(gòu)造及分詞系統(tǒng)的性能有著很大的影響。但由于漢語自身的復(fù)雜性，新詞發(fā)現(xiàn)問題一直是中文自然語言處理的難題。
　　條件隨機(jī)場是一種無向圖模型，它具有產(chǎn)生式模型和最大熵馬爾可夫模型的優(yōu)點(diǎn)。既可以利用任意上下文特征，并對這些特征進(jìn)行訓(xùn)練；又可以通過折衷不同位置的不同特征值的方法獲得全局最優(yōu)的標(biāo)記結(jié)果。
　　本文使用了條件隨機(jī)場模型進(jìn)行中文新詞發(fā)現(xiàn)，并提出了兩項(xiàng)改進(jìn)：漢字粗標(biāo)記和非法

2、狀態(tài)識別。加入這兩項(xiàng)改進(jìn)，能夠?qū)⑽吹卿浽~的召回率提高15％。這也是新詞發(fā)現(xiàn)系統(tǒng)最重要的評價(jià)指標(biāo)。而反饋庫的加入，也將系統(tǒng)的準(zhǔn)確率提高了30%。
　　本文的研究內(nèi)容主要包括以下幾個(gè)方面：
　　1)使用條件隨機(jī)場模型進(jìn)行新詞發(fā)現(xiàn)工作，并對原始的條件隨機(jī)場模型進(jìn)行了改進(jìn)，使用了漢字粗標(biāo)記和非法狀態(tài)識別的技術(shù)。
　　2)為了保證詞典的準(zhǔn)確，系統(tǒng)加入了搜索引擎輔助篩選和人工篩選功能。
　　3)加入反饋系統(tǒng)，能夠?qū)⒔?jīng)過篩選的