基于深度學(xué)習(xí)的中文分詞模型應(yīng)用研究.pdf

1、自然語言處理(NLP)是一種讓計(jì)算機(jī)能夠理解人類語言的技術(shù)。其中，分詞技術(shù)是一種基礎(chǔ)任務(wù)。國際上常用的NLP算法，深層次的語法語義分析通常都是以詞作為基本單位，分詞通常是NLP的首要任務(wù)。當(dāng)建立NLP領(lǐng)域的模型時(shí)，往往需要建模人員掌握一定的語言學(xué)知識才能夠提取合適的特征。深度學(xué)習(xí)具有優(yōu)秀的泛化能力，能夠無監(jiān)督地基于數(shù)據(jù)抽取特征，深度學(xué)習(xí)的優(yōu)勢就在于，從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到上下文信息特征，實(shí)驗(yàn)者需要做的部分是設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，提供優(yōu)質(zhì)的訓(xùn)練

2、數(shù)據(jù)。
　　本文構(gòu)建了基于字嵌入的雙向長短期記憶網(wǎng)絡(luò)(LSTM)的中文分詞模型，細(xì)致地介紹模型的構(gòu)建過程，參數(shù)設(shè)置，以及實(shí)驗(yàn)過程。從分詞準(zhǔn)確性角度評價(jià)隱馬爾科夫模型(HMM)，條件隨機(jī)場(CRF)，雙向LSTM的分詞效果。使用 Bakeoff2005的微軟研究院提供的語料作為測試語料，用該機(jī)構(gòu)提供語料做封閉測試，模型切分結(jié)果的 F-測度(F-Measure)分別為，CRF：0.965，雙向LSTM：0.931，HMM：0.759；