網(wǎng)絡(luò)新詞發(fā)現(xiàn)算法研究.pdf

1、隨著信息時代的到來，互聯(lián)網(wǎng)正深刻地影響著人們的學(xué)習(xí)、工作、生活娛樂等各個方面，也改變了人們?nèi)粘５臏贤ū磉_(dá)方式，網(wǎng)絡(luò)新詞的不斷涌現(xiàn)就是一個很好的證明。在印歐體系語言中詞語之間會存在空格這種天然的分隔符號，與之不同的是中文詞語之間沒有這種的空格。而中文的最小獨(dú)立語言單位是詞，所以要想讓計(jì)算機(jī)有效地識別中文最初需要對其進(jìn)行分詞。但是新詞的涌現(xiàn)會讓中文分詞后的結(jié)果產(chǎn)生很多不好辨別的“字符串碎片”，而這些“字符串碎片”會對分詞結(jié)果的準(zhǔn)確率造成了很

2、大的影響。有學(xué)者做過研究統(tǒng)計(jì)，導(dǎo)致中文分詞錯誤的大部分原因是由新詞引起的。假如我們能夠迅速地識別網(wǎng)絡(luò)新詞并將識別到的新詞及時加入到中文詞典進(jìn)行更新，這對于提高中文分詞系統(tǒng)的準(zhǔn)確率和效率將有非常大的幫助。因此對新詞識別的研究現(xiàn)已成為了中文自然語言處理中一個非常重要的問題。
　　近年來，很多學(xué)者和研究機(jī)構(gòu)在新詞識別這一領(lǐng)域做了許多研究工作，也取得了一些成果，但是新詞識別的準(zhǔn)確率還不夠高。為了解決這個問題，本文基于微博消息的特點(diǎn)提出了一

3、種新詞識別方法。
　　首先為了確保語料的時效性，本文利用網(wǎng)絡(luò)爬蟲抓取新浪微博消息構(gòu)建了一個語料庫。其次利用原子切分和N-gram算法對微博消息進(jìn)行切分統(tǒng)計(jì)獲得候選字符串，并對其進(jìn)行過濾得到候選新詞。接著本文根據(jù)微博消息的特點(diǎn)（大信息量和用詞趨簡性的特點(diǎn)）提出了一種新詞識別方法。然后本文將新詞識別和分詞結(jié)合起來，并利用分詞后的結(jié)果來檢測識別候選新詞。最后本文利用平均互信息對上面提出的方法做了進(jìn)一步的改進(jìn)，提升了新詞識別的效率。對比其