基于條件隨機(jī)場的網(wǎng)絡(luò)文本分詞研究.pdf

1、自然語言處理技術(shù)目前已發(fā)展為信息處理領(lǐng)域的一個的熱點(diǎn)研究問題。其中漢語的處理任務(wù)大都需要先進(jìn)行分詞，經(jīng)過多年的深入研究，漢語自動分詞技術(shù)在應(yīng)對傳統(tǒng)文本上已經(jīng)取得了不錯的成績。然而，網(wǎng)絡(luò)文本的分詞水平卻不能令人滿意，主要是由于網(wǎng)絡(luò)文本的文體與傳統(tǒng)文本有很大的不同，這就對目前的分詞研究提出了新的課題。條件隨機(jī)場(Conditional Random Fields，CRFs)模型不需要嚴(yán)格獨(dú)立的假設(shè)，而且克服了標(biāo)記偏置問題，因此被廣泛的應(yīng)用到

2、漢語自動分詞中，并取得了不錯的效果。本文在基于字和詞標(biāo)注結(jié)合條件隨機(jī)場模型的基礎(chǔ)上，進(jìn)行適合網(wǎng)絡(luò)文本的分詞方法研究。
　　本研究主要內(nèi)容包括：⑴介紹隱馬爾可夫模型、最大熵馬爾可夫模型和條件隨機(jī)場模型，闡述CRFs模型在漢語標(biāo)注方面的優(yōu)越性。⑵總結(jié)分析網(wǎng)絡(luò)文本的特點(diǎn)，在基于字標(biāo)注和基于詞標(biāo)注相結(jié)合的條件隨機(jī)場模型的基礎(chǔ)上，改進(jìn)標(biāo)注集，采用適合于網(wǎng)絡(luò)文本的特征模板，提高系統(tǒng)對網(wǎng)絡(luò)文本的分詞能力。⑶由于網(wǎng)絡(luò)文本與傳統(tǒng)文本的不同，這就導(dǎo)致