基于字位的中文分詞方法研究與實(shí)現(xiàn).pdf

1、自動分詞是中文信息處理領(lǐng)域的一項(xiàng)基本技術(shù)，也是智能化中文信息處理的關(guān)鍵，它在機(jī)器翻譯、信息檢索、文本分類等中文信息處理的各項(xiàng)任務(wù)中都發(fā)揮著基礎(chǔ)性的重要作用。 本文在分析中文分詞技術(shù)現(xiàn)狀和問題的基礎(chǔ)上，采用和試驗(yàn)了一種基于字位的新的分詞方法。此分詞方法以中文字在詞中的位置分布為依據(jù)進(jìn)行切分，平衡地看待詞表詞和未登錄詞，因此在未登錄詞識別方面有比其它方法更優(yōu)秀的表現(xiàn)。本論文分別使用最大熵和條件隨機(jī)場這兩種機(jī)器學(xué)習(xí)模型來實(shí)現(xiàn)并通過實(shí)驗(yàn)

2、得出結(jié)果的比較分析。最后對本文的研究工作進(jìn)行總結(jié)，并對未來的繼續(xù)研究方向和發(fā)展前景做出展望。 本文的貢獻(xiàn)和創(chuàng)新主要有以下五個(gè)方面：(1)探索研究了最新的基于字位的中文分詞方法：此方法通過確定每個(gè)字在詞中的位置來確定分詞，把分詞問題轉(zhuǎn)變?yōu)榉诸悊栴}。(2)運(yùn)用試驗(yàn)了最大熵和條件隨機(jī)場兩種具體的處理方法在字位分詞中的應(yīng)用。(3)對特征模板選取和訓(xùn)練模型進(jìn)行了較為深入的研究：分別使用最大熵和條件隨機(jī)場比較6特征模極和10特征模板的分詞準(zhǔn)