基于統(tǒng)計(jì)和語義信息的中文分詞算法研究.pdf

1、隨著中文分詞技術(shù)研究的不斷深入，如何實(shí)現(xiàn)分詞算法中語義信息的處理成為當(dāng)今研究熱點(diǎn)之一。本文結(jié)合特定領(lǐng)域的領(lǐng)域性以及語義網(wǎng)本體的結(jié)構(gòu)特點(diǎn)，對(duì)基于詞典的雙向最大匹配算法進(jìn)行改進(jìn)，提出基于統(tǒng)計(jì)和語義信息的中文分詞算法，并開發(fā)了中文分詞系統(tǒng)對(duì)該算法進(jìn)行驗(yàn)證，最后通過與NLPIR漢語分詞系統(tǒng)的分詞結(jié)果比較，實(shí)驗(yàn)表明在特定領(lǐng)域本文提出的算法比傳統(tǒng)分詞方法有效。針對(duì)以上內(nèi)容，本文主要做了以下五方面工作:
　　1.根據(jù)OWL標(biāo)準(zhǔn)構(gòu)建一個(gè)平面幾何領(lǐng)

2、域本體。借助維基百科和語義相關(guān)度知識(shí)了解平面幾何領(lǐng)域概念知識(shí)以及層次結(jié)構(gòu)，從中抽取30個(gè)領(lǐng)域術(shù)語，運(yùn)用領(lǐng)域本體中的四種基本關(guān)系完成對(duì)術(shù)語之間關(guān)系的半自動(dòng)標(biāo)注和校對(duì)，構(gòu)建起語義相關(guān)的數(shù)據(jù)庫，并完成對(duì)該領(lǐng)域本體的編輯管理。
　　2.提出一種基于統(tǒng)計(jì)規(guī)則的歧義消解算法。考慮到歧義字段對(duì)切分精度的重大影響，在分析現(xiàn)有歧義處理方法的基礎(chǔ)上，總結(jié)規(guī)律發(fā)現(xiàn)問題，提出五條統(tǒng)計(jì)規(guī)則，并根據(jù)統(tǒng)計(jì)規(guī)則設(shè)計(jì)實(shí)現(xiàn)一種針對(duì)交集型歧義的處理算法。
　　3

3、.提出一種基于語義信息的中文分詞算法。該算法是對(duì)傳統(tǒng)的基于詞典的雙向最大匹配算法進(jìn)行改進(jìn)，通過構(gòu)建平面幾何領(lǐng)域本體作為語義詞典來代替?zhèn)鹘y(tǒng)的中文分詞詞典，將待切分文本經(jīng)過預(yù)處理后與本體中的詞條進(jìn)行匹配，通過領(lǐng)域本體中術(shù)語之間的關(guān)聯(lián)關(guān)系來實(shí)現(xiàn)機(jī)械分詞對(duì)語義信息的處理，減少歧義字段，最終得到更準(zhǔn)確的切分結(jié)果。
　　4.設(shè)計(jì)并實(shí)現(xiàn)基于統(tǒng)計(jì)和語義信息的中文分詞系統(tǒng)。該系統(tǒng)對(duì)本文提出的分詞算法進(jìn)行了實(shí)現(xiàn)，設(shè)計(jì)系統(tǒng)整體框架并具體闡述框架中每個(gè)模