基于規(guī)則與統(tǒng)計相融合的微博新詞發(fā)現(xiàn)研究.pdf

1、微博新詞的出現(xiàn)給短文本分詞工作帶來了極大的挑戰(zhàn)。本文從多個角度對微博新詞發(fā)現(xiàn)研究進行較為全面地分析。結合微博新詞的構詞規(guī)則自由度大和極其復雜的特點，針對信息抽取領域中傳統(tǒng)的C/NC-value方法抽取的結果新詞邊界的識別準確率不高，以及低頻微博新詞無法正確識別的問題，提出了一種融合人工啟發(fā)式規(guī)則、C/NC-value改進算法和兩種統(tǒng)計模型（條件隨機場(Conditional Random Field，CRF)和支持向量機(Support

2、 Vector Machine，SVM))的微博新詞抽取方法。
　　本文的主要貢獻在于提出了一種新的微博新詞發(fā)現(xiàn)方法，設計并實現(xiàn)一種二階段規(guī)則和統(tǒng)計融合的方法。在多種算法融合的基礎上，進行優(yōu)勢互補，提高微博新詞的識別精度和領域適應能力，降低人工成本。
　　本文的創(chuàng)新性主要體現(xiàn)在以下三方面:
　　(1)采用人工啟發(fā)式規(guī)則對微博新詞進行分類和歸納總結，并從微博新詞構詞的詞性、字符類別和表意符號等多個角度設計構詞規(guī)則;