雙字低頻未登錄詞識別研究.pdf

1、未登錄詞是影響中文自動(dòng)分詞精度的最主要原因，低頻詞是未登錄詞識別的難點(diǎn)，而雙字低頻未登錄詞又是低頻未登錄詞的重要組成。所以，文章著重研究如何高效識別雙字低頻未登錄詞，選用多種統(tǒng)計(jì)和規(guī)則相結(jié)合的方法，取得了一定的效果。
　　在識別低頻雙字未登錄詞的過程中，為了提高識別效率并對實(shí)驗(yàn)結(jié)果進(jìn)行有效統(tǒng)計(jì)研究，進(jìn)行前期處理，主要分為三步：一、分詞并提取分詞碎片。二、識別未登錄詞中的重要組成--命名實(shí)體。三、識別部分多字未登錄詞。之后在所剩碎片

2、中判別低頻雙字未登錄詞，采用了多種統(tǒng)計(jì)與規(guī)則相結(jié)合的辦法，有互信息、成詞非詞概率、鄰字熵、素性組合。雖然實(shí)驗(yàn)結(jié)果一般，但在輔助識別、提取新詞上依然具有實(shí)用的價(jià)值，可以為人工識別減輕大量負(fù)擔(dān)。在識別過程中發(fā)現(xiàn)，詞定義的模糊性、語料中分詞不一致是雙字未登錄詞難以正確識別的重要原因，因此，對此進(jìn)行了深入的研究，提出了對雙字詞的新的合理定義。之后，自己標(biāo)注了小型的測試語料，在同樣的識別方法下，正確率和召回率都有較大提高。最后還提出并實(shí)現(xiàn)了一種基