基于SVM和詞特征的新詞識(shí)別研究.pdf

1、隨著中國進(jìn)入快速發(fā)展的新時(shí)代，漢語也在隨著時(shí)代的發(fā)展而發(fā)展，作為漢語的重要組成部分，詞語的更新變的最為活躍，在日?？萍?、經(jīng)濟(jì)、文化生活中，大量的漢語新詞不斷地涌現(xiàn)，新詞的產(chǎn)生豐富了人們的日常生活和網(wǎng)絡(luò)生活的語言表達(dá)，但同時(shí)也給漢語分詞帶來了挑戰(zhàn)。與英語和其他一些字母語言不同，漢語詞語之間沒有明顯的分割，比如英語中詞和詞之間的就有空格這種天然的分割符號(hào)，所以想讓計(jì)算機(jī)讀懂漢語必須先進(jìn)行漢語的分詞，然而新詞的出現(xiàn)卻使得漢語分詞產(chǎn)生很多難以識(shí)

2、別的“散串”和“碎片”，這些在一定程度上影響到了分詞的正確率，根據(jù)統(tǒng)計(jì)，造成漢語分詞的錯(cuò)誤過半的原因是由新詞造成的，如果能夠?qū)⑿略~快速及時(shí)的組織到漢語分詞字典中，那對(duì)于提升漢語分詞系統(tǒng)的準(zhǔn)確率無疑具有巨大的促進(jìn)作用。因此，新詞發(fā)現(xiàn)已經(jīng)成為漢語自動(dòng)分詞中的一個(gè)難點(diǎn)與瓶頸問題。如何識(shí)別尋找漢語新詞成了一個(gè)重要的研究課題。
　　 支持向量機(jī)SVM(Support Vector Machine)是一種可訓(xùn)練的機(jī)器學(xué)習(xí)方法，它在解決小樣本

3、、非線性及高維模式識(shí)別中表現(xiàn)出許多特有的優(yōu)勢(shì)，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中，本文結(jié)合提出的詞特征和SVM進(jìn)行新詞識(shí)別和提取，首先通過修改分詞字典進(jìn)行模擬新詞，借助分詞字典對(duì)訓(xùn)練語料和測(cè)試語料進(jìn)行分詞，統(tǒng)計(jì)出各種選擇的詞特征，然后對(duì)從訓(xùn)練語料中抽取的正負(fù)樣本結(jié)合詞特征進(jìn)行向量化，選取不同的核函數(shù)通過支持向量機(jī)的訓(xùn)練得到新詞分類支持向量。通過增加松弛變量來提高分類的準(zhǔn)確率，最后將訓(xùn)練語料中得到的新詞分類支持向量以及對(duì)測(cè)試語料

4、中得到的新詞候選向量結(jié)合進(jìn)行SVM測(cè)試，得到每一個(gè)候選新詞的計(jì)算值，根據(jù)計(jì)算值和閾值的比較得到最終的新詞識(shí)別結(jié)果。
　　 通過設(shè)計(jì)編寫的新詞識(shí)別程序?qū)崿F(xiàn)對(duì)訓(xùn)練語料的候選新詞提取以及生成新詞識(shí)別支持向量，然后結(jié)合測(cè)試語料輸出識(shí)別結(jié)果。通過新詞分類程序?qū)崿F(xiàn)對(duì)測(cè)試語料的召回率和正確率的計(jì)算以及生成新詞分類圖像。對(duì)約含有300,000個(gè)漢字的人民日?qǐng)?bào)語料進(jìn)行整合處理后，在分詞字典中模擬刪除了100個(gè)詞作為模擬新詞，結(jié)合新詞識(shí)別程序和新詞

5、分類程序進(jìn)行實(shí)驗(yàn)得到提取的新詞和召回率、正確率。
　　 本文首先選取徑向基核函數(shù)(RBF)和相關(guān)松弛變量采用不同的詞特征進(jìn)行實(shí)驗(yàn)，通過實(shí)驗(yàn)結(jié)果分析得出所選的詞特征都會(huì)對(duì)新詞識(shí)別的結(jié)果產(chǎn)生積極的作用，因此在進(jìn)行下一步實(shí)驗(yàn)時(shí)采用了提出的全部的詞特征，然后在其他條件相同的情況下，分別采用了徑向基核函數(shù)(RBF)、多項(xiàng)式核函數(shù)和Sigmoid核函數(shù)進(jìn)行實(shí)驗(yàn)，通過實(shí)驗(yàn)結(jié)果可以看出，當(dāng)使用徑向基核函數(shù)(RBF)和全部詞特征時(shí)，新詞識(shí)別的正確