基于機(jī)械切分和標(biāo)注的中文分詞研究.pdf

1、計(jì)算技術(shù)和互聯(lián)網(wǎng)的發(fā)展使信息量呈指數(shù)級(jí)增長(zhǎng)，人工的查找和分析已經(jīng)不能滿(mǎn)足應(yīng)用的要求。信息處理特別是自然語(yǔ)言處理變得日益重要。要進(jìn)行自然語(yǔ)言處理，就必須讓計(jì)算機(jī)“理解”人類(lèi)的語(yǔ)言。“理解”的第一步就是進(jìn)行詞法分析，即分詞技術(shù)。將中文字符串切分成有意義的詞序列的過(guò)程即中文分詞過(guò)程。中文分詞是中文信息處理的基礎(chǔ)。 中文分詞的方法大致可以分為三類(lèi)：機(jī)械分詞、統(tǒng)計(jì)分詞和語(yǔ)義分詞。機(jī)械分詞是一種重要的粗分方法，在很多領(lǐng)域得到應(yīng)用。作為統(tǒng)計(jì)分

2、詞方法的一種，近年提出的標(biāo)注方法在國(guó)際中文分詞評(píng)測(cè)中表現(xiàn)突出。 在此背景下，本文對(duì)機(jī)械切分和標(biāo)注方法進(jìn)行深入研究，并結(jié)合搜索引擎這個(gè)具體應(yīng)用，給出了一個(gè)同時(shí)采用機(jī)械分詞和標(biāo)注分詞的模型RMT（Reverse Matching and Matching and Tagging）。RMT在索引階段同時(shí)采用多種機(jī)械分詞方法，保留不同的分詞結(jié)果，分別建立索引；在搜索階段，由于用戶(hù)輸入的關(guān)鍵字較短，同時(shí)采用機(jī)械分詞和標(biāo)注分詞，這樣既保證了

3、能夠快速返回搜索結(jié)果，也可以有效的發(fā)現(xiàn)新詞并擴(kuò)充詞庫(kù)。RMT的機(jī)械分詞使用了一種先進(jìn)的詞典結(jié)構(gòu)，可以提高建立索引和進(jìn)行搜索引擎的速度。開(kāi)發(fā)了一個(gè)基于Lucene的搜索引擎系統(tǒng)，按照模型RMT對(duì)該搜索引擎的分詞模塊進(jìn)行了改進(jìn)，測(cè)試結(jié)果表明，RMT模型適合用于搜索引擎。 標(biāo)注分詞中需要使用語(yǔ)料庫(kù)進(jìn)行機(jī)器學(xué)習(xí)，本文通過(guò)對(duì)機(jī)器學(xué)習(xí)模型的研究，在CRF++的基礎(chǔ)上對(duì)機(jī)器學(xué)習(xí)模型進(jìn)行優(yōu)化。優(yōu)化后的模型可以為字強(qiáng)制指定標(biāo)注，將訓(xùn)練好的二進(jìn)制模