漢語詞的分布式表示學(xué)習(xí)研究.pdf

1、詞的表示問題是自然語言處理中的關(guān)鍵問題之一。詞的表示方法是否適當(dāng),直接影響著句法分析、語義表示和理解等任務(wù)的建模方法,也影響著信息檢索、問答系統(tǒng)等應(yīng)用系統(tǒng)的準(zhǔn)確性和魯棒性。特別是當(dāng)面臨大規(guī)模真實(shí)中文數(shù)據(jù)時(shí),詞的數(shù)量大,詞表示方法的好壞直接影響著系統(tǒng)的運(yùn)算效率和性能。
　　本文將目前已有的一些中文詞的表示策略歸納為三類:傳統(tǒng)的0-1表示、基于潛在語義信息的分布式的表示以及基于神經(jīng)語言模型的分布式表示。0-1表示是中文信息處理中使用最

2、為廣泛的表示。很多基于最大熵、CRF模型等的漢語組塊分析系統(tǒng)便是直接采用0-1表示來形式化詞的特征,這種表示雖然簡(jiǎn)單,但是形成的特征矩陣維度非常高,容易導(dǎo)致特征稀疏。為了彌補(bǔ)這一缺點(diǎn),后兩種表示策略將詞表示成一個(gè)低維的實(shí)值向量。區(qū)別在于,基于潛在語義信息的分布式的表示主要是借鑒一些矩陣分解技術(shù),而基于神經(jīng)語言模型的分布式表示則是直接將詞表示向量看作是神經(jīng)網(wǎng)絡(luò)中的一個(gè)隱層。
　　本文主要關(guān)注基于神經(jīng)網(wǎng)絡(luò)的詞表示方法及表示學(xué)習(xí)。深入探

3、究了Bengio(2003)提出的神經(jīng)語言模型具體在漢語詞的表示學(xué)習(xí)中的實(shí)現(xiàn)過程。在山西大學(xué)500萬漢語分詞語料上學(xué)習(xí)得到了漢語詞的和字的分布式表示矩陣,并進(jìn)行了理論和表示向量數(shù)值特征上的分析。結(jié)果表明,矩陣中實(shí)值表示的數(shù)值范圍隨著表示學(xué)習(xí)算法迭代次數(shù)的增加而增加,這與 Turian(2010)得到的英文詞表示學(xué)習(xí)中的現(xiàn)象是一致的。本文從理論上初步分析了這一現(xiàn)象的原因,并給出了表示矩陣無界的一個(gè)充分條件。
　　本文研究了詞的義項(xiàng)與

4、向量表示之間的關(guān)系。選取了中文和英文中的一些具有不同義項(xiàng)的典型詞,將它們的實(shí)值向量表示繪制成不同指標(biāo)的直方圖。通過分析,本文初步認(rèn)為義項(xiàng)越多的詞,對(duì)應(yīng)的直方圖的“峰”可能越多。并且,在漢語和英文中均表現(xiàn)出類似的現(xiàn)象。
　　為了體現(xiàn)基于潛在語義的分布式的詞表示與基于神經(jīng)語言模型的分布式詞表示的區(qū)別。本文分別在兩種表示上進(jìn)行詞的聚類實(shí)驗(yàn)。我們給出幾個(gè)典型漢語詞的前10近鄰詞,聚類結(jié)果表明,基于神經(jīng)語言模型的分布式詞表示的詞聚類效果要明

5、顯優(yōu)于基于潛在語義的分布式的表示。
　　本文在漢語基本塊邊界識(shí)別任務(wù)上對(duì)比分析了詞的0-1表示以及基于神經(jīng)語言模型的分布式詞表示對(duì)模型性能的影響。在[-2,2]窗口使用0-1詞特征的基本塊邊界識(shí)別模型中,邊界識(shí)別的F值為38.72％;而上述模型中詞特征替換為分布式詞特征后,邊界識(shí)別的 F值提高到70.51%;將表示矩陣進(jìn)行尺度變換后,邊界識(shí)別的F值提高到70.74%。在使用詞特征[-2,2]+詞性特征的模型中,使用詞的0-1特征與