中文分詞在農(nóng)業(yè)垂直搜索引擎中的應(yīng)用研究.pdf

1、本文首先對(duì)現(xiàn)有中文分詞相關(guān)理論和方法以及存在的主要問(wèn)題進(jìn)行了深入分析,重點(diǎn)研究了統(tǒng)計(jì)模型在自然語(yǔ)言處理領(lǐng)域中的應(yīng)用。在此基礎(chǔ)上針對(duì)農(nóng)業(yè)垂直搜索領(lǐng)域的特殊需求及應(yīng)用環(huán)境,提出了基于詞典和統(tǒng)計(jì)語(yǔ)言模型的中文分詞方法。該方法通過(guò)改進(jìn)的全切分算法建立分詞矩陣,實(shí)現(xiàn)了所有類型歧義的識(shí)別,生成粗分結(jié)果集,然后利用 N元語(yǔ)法模型從中選擇概率最大的切分結(jié)果,經(jīng)過(guò)基于最大熵模型的詞位標(biāo)注方法識(shí)別未登錄詞后得出最終的分詞結(jié)果,最后給出了基于此方法的中文分詞

2、原型系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。
　　本文提出的分詞方法在三個(gè)方面進(jìn)行了改進(jìn),首先是通過(guò)大規(guī)模語(yǔ)料庫(kù)識(shí)別具有切分標(biāo)志意義的特征字建立特征字庫(kù),通過(guò)特征字對(duì)經(jīng)過(guò)預(yù)處理的語(yǔ)句集進(jìn)行初步切分,有效降低了粗分階段的字串長(zhǎng)度。其次采用改進(jìn)的全切分模型,通過(guò)字位標(biāo)注建立分詞矩陣,能夠有效檢測(cè)歧義邊界,識(shí)別所有類型的歧義,并篩選出包含歧義的切分形式,通過(guò)bigram模型進(jìn)行概率計(jì)算,選擇最優(yōu)切分形式。最后,建立農(nóng)業(yè)專業(yè)術(shù)語(yǔ)、中文人名、中文機(jī)構(gòu)名專業(yè)詞庫(kù),

3、統(tǒng)計(jì)構(gòu)詞規(guī)律,選擇合適的特征模板,生成樣本數(shù)據(jù),利用詞位標(biāo)注的思想,通過(guò)最大熵模型實(shí)現(xiàn)對(duì)未登錄詞的識(shí)別。
　　本文設(shè)計(jì)了三個(gè)方面的實(shí)驗(yàn),對(duì)改進(jìn)的全切分算法和傳統(tǒng)全切分算法的性能進(jìn)行比較;在4詞位標(biāo)注集上選擇不同的上下文窗口寬度對(duì)基于最大熵模型的未登錄詞識(shí)別率的比較;將該原型系統(tǒng)與 ICTCLAS、Paoding以及 IKAnalyzer進(jìn)行綜合性能的比較。實(shí)驗(yàn)結(jié)果表明,使用本文提出的分詞模型的原型系統(tǒng)召回率達(dá)到93.6％,準(zhǔn)確率達(dá)