基于神經(jīng)網(wǎng)絡(luò)模型的漢語基本塊識別.pdf

1、漢語基本塊識別是漢語語塊分析體系中的基礎(chǔ)任務(wù)之一，屬于淺層句法分析的一個環(huán)節(jié)。對給定的漢語句子，漢語基本塊識別任務(wù)將形式化為以字為基本標(biāo)注單位的序列標(biāo)注問題?；诙鄬由窠?jīng)網(wǎng)絡(luò)模型，以漢字的分布表征作為初始輸入，融合分詞隱層特征進(jìn)行模型訓(xùn)練，探索構(gòu)建性能更為優(yōu)良的漢語基本塊識別任務(wù)的神經(jīng)網(wǎng)絡(luò)模型。以原始句子為輸入，以字為基本標(biāo)注單位構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型，不同于傳統(tǒng)方法的標(biāo)注模型那樣對人為構(gòu)建的特征的依賴，以及語塊分析對分詞系統(tǒng)性能的依賴。<

2、br>　　本文的主要創(chuàng)新點有以下兩點：
　　一是以整句的似然函數(shù)作為優(yōu)化目標(biāo)。目前文獻(xiàn)中神經(jīng)網(wǎng)絡(luò)模型在漢語基本塊識別時是以單點似然為優(yōu)化目標(biāo)，對較長的語塊的識別不夠準(zhǔn)確。因此，本文借鑒Collobert etal(2011)的方法，以整句的似然函數(shù)為優(yōu)化目標(biāo)函數(shù)，編程實現(xiàn)了對此目標(biāo)函數(shù)的SGD優(yōu)化算法。實驗結(jié)果表明，應(yīng)用此方法，整個句子輸出的標(biāo)記序列更為合理，一定程度上減少了不合法標(biāo)記的產(chǎn)生（比如，將語塊內(nèi)部的標(biāo)點符號劃分到語塊外

3、的現(xiàn)象），有效提升了漢語基本塊的識別性能，特別對多字塊的召回率提升了3％-5%。
　　二是提出了融合分詞隱層特征的漢語基本塊識別的神經(jīng)網(wǎng)絡(luò)模型。該模型將分詞與基本塊識別兩個任務(wù)融合到一起進(jìn)行訓(xùn)練，兩者都以字的分布表特作為輸入，共享同一個字的分布表征矩陣。模型參數(shù)訓(xùn)練過程中，對兩個任務(wù)模型采用交替訓(xùn)練的方式，訓(xùn)練時每次只更新自己模型部分的參數(shù)，但是對于共享的字分布表征矩陣中的參數(shù)要共同更新。不但避免了分詞部分的參數(shù)對分詞任務(wù)過于擬合