基于形態(tài)學信息與語義字典的詞向量提升.pdf

1、針對當前傳統(tǒng)詞向量模型只能捕捉詞層面的語義信息，忽視了單詞內(nèi)部語義信息以及無法有效區(qū)分反義詞的不足，本文凝練出兩個科學問題:1、如何將單詞形態(tài)學信息融入詞向量訓練過程中，以此提升詞向量的語義相似性以及形態(tài)相似性;2、如何提升詞向量區(qū)分反義詞的能力。
　　針對科學問題1，本文以英文為例，將英文單詞中的前綴、后綴、詞根等形態(tài)學信息融入到詞向量訓練過程中，并提出兩種隱式詞向量提升模型:均衡模型和相似度模型。與相關(guān)工作對比，本文提出的模型

2、具有較大不同，主要體現(xiàn)在:相關(guān)工作普遍直接利用單詞的詞素信息去提升詞向量，而本文則利用詞素在字典中的解釋對單詞進行建模。該方法的優(yōu)點在于其不但可以很好的提高單詞的語義相似性，同時能很大程度上提升單詞的形態(tài)相似性。本文在詞意關(guān)聯(lián)檢測、句法類比和N近鄰單詞實驗上對均衡模型和相似度模型進行了測試。實驗結(jié)果表明本文提出的隱式模型在所有任務(wù)上均取得最優(yōu)結(jié)果。參數(shù)分析結(jié)果表明:在隱式模型的詞向量空間中，形態(tài)相似的單詞不但距離彼此較近，而且也都分布在

3、其詞素意義周邊。此外，隱式模型具有補充語義的能力，其在小文本上取得了和基準模型在大文本上相當?shù)谋憩F(xiàn)。因此，隱式模型在處理資源匱乏的語言時具有優(yōu)勢。
　　針對科學問題2，本文基于外部語義字典，提出一種詞向量糾正模型LWET。該模型利用字典中單詞的近義關(guān)系和反義關(guān)系來調(diào)整詞向量在空間中的分布，使得詞向量區(qū)分反義詞的能力得到增強。模型的主要目標是使近義詞離目標詞最近，反義詞離目標詞最遠，無關(guān)詞位于近義詞和反義詞之間充當間隔。為降低模型求

4、解的復雜度，本文提出兩種近似算法，包括正采樣算法和類層次softmax算法。其中正采樣算法時間復雜度最低，類層次softmax算法復雜度略高，但效果更好。本文在反義詞識別、正、反義詞消歧和詞意關(guān)聯(lián)檢測實驗上對LWET進行了測試。其中，反義詞識別和正、反義詞消歧主要用于檢測詞向量區(qū)分反義詞的能力，實驗結(jié)果表明經(jīng)由LWET調(diào)整，詞向量能有效區(qū)分單詞間的反義關(guān)系。詞意關(guān)聯(lián)檢測實驗結(jié)果顯示，LWET在調(diào)整詞向量空間分布時，不會對原有詞向量的語義