基于詞典的中文分詞算法改進(jìn)與實(shí)現(xiàn).pdf

1、中文分詞是按照特定的規(guī)范將漢語(yǔ)中連續(xù)的字序列切分為合理的詞序列的過(guò)程。作為自然語(yǔ)言處理基礎(chǔ)性任務(wù)，中文分詞已經(jīng)被廣泛應(yīng)用在相關(guān)領(lǐng)域中。因此，研究中文分詞算法具有重要的理論和現(xiàn)實(shí)意義。為了滿足上層應(yīng)用對(duì)分詞實(shí)用性要求，本文將機(jī)械分詞和基于統(tǒng)計(jì)的分詞法有機(jī)結(jié)合，提出了基于詞典和統(tǒng)計(jì)規(guī)則的中文分詞算法。該算法首先使用切分速度快的機(jī)械分詞法對(duì)預(yù)處理后的文本進(jìn)行初步切分，采用改進(jìn)的雙向最大匹配檢測(cè)法檢測(cè)出歧義字段，并運(yùn)用基于二元統(tǒng)計(jì)模型的全切分消

2、解歧義。其次，采用基于角色的命名實(shí)體識(shí)別方法識(shí)別出未登錄詞。最后，引入規(guī)則庫(kù)對(duì)分詞結(jié)果進(jìn)一步修正。本文的研究工作主要有:
　　采用二次索引的詞典結(jié)構(gòu)，提升詞典查找速度，使用Java對(duì)象序列化技術(shù)實(shí)現(xiàn)詞典文件的加載（反序列化）和詞典對(duì)象的序列化。
　　在未登錄詞識(shí)別方面，將隱馬爾科夫模型中解決編碼問(wèn)題的前向Viterbi算法用以角色標(biāo)注，采用角色模式集上的模式串匹配出中文專有名詞。使用一個(gè)小型校正規(guī)則庫(kù)進(jìn)行分詞碎片的修正。