詞嵌入的若干改進(jìn)研究.pdf

1、隨著機(jī)器學(xué)習(xí)在自然語(yǔ)言處理領(lǐng)域的興起和應(yīng)用，融入多語(yǔ)言學(xué)知識(shí)源信息的詞嵌入表示和基于神經(jīng)網(wǎng)絡(luò)的詞嵌入表示應(yīng)用在許多自然語(yǔ)言處理的任務(wù)中并且表現(xiàn)出了優(yōu)異的性能。傳統(tǒng)的詞嵌入表示方法是基于上下文建模的詞袋模型這種方法忽略了詞語(yǔ)的順序信息并且存在數(shù)據(jù)稀疏缺陷。在計(jì)算機(jī)發(fā)展較早階段由于硬件條件限制，在大規(guī)模數(shù)據(jù)集上進(jìn)行學(xué)習(xí)復(fù)雜的詞嵌入表示帶來(lái)了時(shí)間和精力上的大量消耗，可行性較差。但目前，隨著計(jì)算機(jī)的高速發(fā)展，結(jié)合深度學(xué)習(xí)方法在超大規(guī)模語(yǔ)料中訓(xùn)練

2、模型，能夠獲取高質(zhì)量的詞嵌入表示，并且在相關(guān)研究的任務(wù)中帶來(lái)了較高的性能提升。本論文提出融合豐富的語(yǔ)義詞典知識(shí)信息學(xué)習(xí)詞的向量表示和引入字詞組合網(wǎng)絡(luò)的CWE改進(jìn)模型，并進(jìn)行了實(shí)驗(yàn)分析和總結(jié)，詳細(xì)概述如下。
　　1.融合語(yǔ)義詞典知識(shí)的詞嵌入優(yōu)化。在理論方面上，本論文對(duì)現(xiàn)有的詞嵌入表示方法進(jìn)行了闡述，分析模型的結(jié)構(gòu)并說(shuō)明現(xiàn)有的一些學(xué)習(xí)詞嵌入表示方法缺少豐富的語(yǔ)義知識(shí)信息，從而使得多義詞在當(dāng)前上下文中的語(yǔ)義表達(dá)出現(xiàn)錯(cuò)誤匹配問(wèn)題。從實(shí)驗(yàn)方

3、面上，本論文提出的模型和基線系統(tǒng)進(jìn)行對(duì)比，在詞語(yǔ)的語(yǔ)義相關(guān)度測(cè)試任務(wù)和詞義消歧任務(wù)中進(jìn)行了系統(tǒng)的討論和評(píng)價(jià)工作，通過(guò)這種理論聯(lián)系實(shí)際的方法來(lái)說(shuō)明本論文提出的方法可行有效。
　　2.引入字詞組合網(wǎng)絡(luò)的CWE改進(jìn)模型。目前很多訓(xùn)練詞嵌入表示的方法都是以詞語(yǔ)為基本單位，但對(duì)于中文的語(yǔ)言結(jié)構(gòu)特點(diǎn)可以將組合型詞語(yǔ)拆分成字，聯(lián)合學(xué)習(xí)字和詞的向量表示。本論文提出了使用前饋神經(jīng)網(wǎng)絡(luò)來(lái)訓(xùn)練字和詞語(yǔ)的向量表示，針對(duì)訓(xùn)練語(yǔ)料中的單字、雙字詞和四字短語(yǔ)，