神經(jīng)語(yǔ)言模型在自然語(yǔ)言處理中的應(yīng)用.pdf

1、目前國(guó)內(nèi)外對(duì)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型在自然語(yǔ)言處理中應(yīng)用的研究越來越廣泛。神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型是將深度學(xué)習(xí)的思想用于語(yǔ)言模型而構(gòu)建的。本文介紹了五種神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型,分別為Bengio等[2],C&W[1],和Mikolov等[13]提出的神經(jīng)概率語(yǔ)言模型,Minh&hinton[12]提出的可變的層次分布語(yǔ)言模型,以及Sainath[14]提出的深層神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型,并介紹了這幾種模型的優(yōu)缺點(diǎn)。然后,本文分別介紹了深度學(xué)習(xí)在語(yǔ)義角色標(biāo)注、組塊、命

2、名實(shí)體識(shí)別、詞性標(biāo)注、情感分布、句法分析及連續(xù)短語(yǔ)表示等任務(wù)中的應(yīng)用。
　　本文使用神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型進(jìn)行漢語(yǔ)框架排歧實(shí)驗(yàn)?？蚣芘牌缡窃诮o定一個(gè)句子和目標(biāo)詞的情況下,判斷目標(biāo)詞所屬的框架的方法。特征選擇是框架排歧的一個(gè)重要環(huán)節(jié),不同的特征選擇得到不同的準(zhǔn)確率。本文選取詞,詞+詞性,隨機(jī)e mbedd ing矩陣,以及與詞相對(duì)應(yīng)的e mbedd ing矩陣作為特征,在山西大學(xué)語(yǔ)料上的2077條句子上進(jìn)行框架排歧實(shí)驗(yàn),在給定數(shù)據(jù)集下,得

3、到以下結(jié)論。
　　(1)特征從詞,詞+詞性,隨機(jī)embedd ing矩陣,以及與詞相對(duì)應(yīng)的e mbedd ing矩陣進(jìn)行實(shí)驗(yàn)得到的準(zhǔn)確率依次增加,分別為47.47％,48.14%,57.72%,58.06%。與詞相對(duì)應(yīng)的embedd ing矩陣準(zhǔn)確率相對(duì)最高為58.06%。因此e mbedd ing矩陣作為特征進(jìn)行框架排歧實(shí)驗(yàn)?zāi)艿玫捷^好的結(jié)果。
　　(2)隨著e mbedd ing矩陣迭代次數(shù)的增加,準(zhǔn)確率也增大,當(dāng)?shù)螖?shù)