基于概念的中文分詞模型研究.pdf

1、隨著信息社會(huì)的飛速發(fā)展，人們對信息的理解的準(zhǔn)確性提出了越來越高的要求。如何提高計(jì)算機(jī)自然語言處理的能力已經(jīng)成為擺在研究人員面前的一個(gè)非常緊迫的課題。計(jì)算機(jī)在處理中文語言的文本時(shí)，要對處理的文本要進(jìn)行詞的切分，正確的分詞是計(jì)算機(jī)對中文文本進(jìn)行理解的前提和基礎(chǔ)。本文提出了通過概念分詞對中文文本進(jìn)行處理的方法，有效地降低了文本向量的維度，處理了同義多義的語言現(xiàn)象，縮短了文本處理的時(shí)間。 1.在介紹了中文分詞技術(shù)發(fā)展的歷史以及所面臨的主

2、要問題和難點(diǎn)；同時(shí)介紹了當(dāng)前中分詞技術(shù)所用到的一些主要的方法和他們的優(yōu)缺點(diǎn)。 2.為了構(gòu)建概念分詞所需要的概念知識庫，本文論述了概念理論領(lǐng)域內(nèi)主要的研究現(xiàn)狀，分析和比較了Hownet(知網(wǎng))和HNC(概念層次網(wǎng)絡(luò))理論各自的優(yōu)點(diǎn)和不足。 3.提出了概念空間模型的定義，通過概念知識庫的設(shè)計(jì)和概念語義距離的定義來計(jì)算文本向量的維度；同時(shí)，作者設(shè)計(jì)實(shí)現(xiàn)了概念分詞系統(tǒng)模型，包括系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)和分詞相關(guān)的各種算法。 4.對