基于條件隨機(jī)場(chǎng)的漢語(yǔ)多詞塊自動(dòng)識(shí)別研究.pdf

1、漢語(yǔ)多詞塊作為組塊體系的重要組成部分，是由兩個(gè)或兩個(gè)以上的詞語(yǔ)按照一定的關(guān)聯(lián)關(guān)系組合形成的信息描述單位。多詞塊主要包括句法信息、關(guān)系信息和序列標(biāo)記組合信息。漢語(yǔ)多詞塊識(shí)別不僅可以在一定程度上簡(jiǎn)化完全句法分析，而且有利于多詞塊信息在大規(guī)模真實(shí)任務(wù)中得到應(yīng)用。
　　本文的任務(wù)是在給定一個(gè)已經(jīng)完成分詞和詞性標(biāo)注的句子后，自動(dòng)識(shí)別出該句子中所有的漢語(yǔ)多詞塊，從中獲得各種塊標(biāo)記信息。本文引進(jìn)條件隨機(jī)場(chǎng)，它是一個(gè)用于標(biāo)記和分割數(shù)據(jù)的無(wú)向圖模型

2、，能夠避免嚴(yán)格的獨(dú)立性假設(shè)和標(biāo)記偏置問(wèn)題，同時(shí)利用條件隨機(jī)場(chǎng)在序列標(biāo)注任務(wù)中表現(xiàn)出的良好性能，構(gòu)建了漢語(yǔ)多詞塊的自動(dòng)識(shí)別模型并對(duì)模型進(jìn)行了融合處理。主要工作如下:
　　(1)多詞塊自動(dòng)識(shí)別模型的構(gòu)建
　　在漢語(yǔ)多詞塊描述體系的基礎(chǔ)上，以清華大學(xué)的“漢語(yǔ)多詞塊庫(kù)”作為語(yǔ)料來(lái)源，構(gòu)建了基于條件隨機(jī)場(chǎng)的兩個(gè)標(biāo)記標(biāo)注模型，即:“句法標(biāo)記標(biāo)注模型”和“序列標(biāo)記標(biāo)注模型”。在句法標(biāo)記標(biāo)注模型中，采用IOB2邊界標(biāo)注策略，將句法標(biāo)記的標(biāo)注

3、看作是一個(gè)序列標(biāo)注任務(wù)，通過(guò)為句子的每個(gè)詞語(yǔ)賦予一個(gè)句法標(biāo)記，自動(dòng)標(biāo)注出該句子的所有多詞塊邊界標(biāo)記及其句法標(biāo)記;在序列標(biāo)記標(biāo)注模型中，多詞塊中的序列標(biāo)記跟其塊內(nèi)每個(gè)詞之間存在一一對(duì)應(yīng)關(guān)系，通過(guò)對(duì)多詞塊中每個(gè)詞進(jìn)行自動(dòng)標(biāo)注，得到其對(duì)應(yīng)的序列標(biāo)記。
　　(2)多詞塊自動(dòng)識(shí)別模型的融合處理
　　針對(duì)上述兩種模型，分別設(shè)計(jì)了一系列實(shí)驗(yàn)。特征選取主要基于單個(gè)詞及其詞性、多個(gè)詞的組合及其詞性的組合、狀態(tài)轉(zhuǎn)移特征。在對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行有效融合