漢語語義組塊識別研究.pdf

1、隨著當(dāng)今社會信息化進(jìn)程的加快以及互聯(lián)網(wǎng)的飛速發(fā)展，自然語言處理技術(shù)被廣泛應(yīng)用于機(jī)器翻譯、信息檢索和人機(jī)交互等信息處理領(lǐng)域。經(jīng)過多年發(fā)展，自然語言處理逐漸由基于規(guī)則的方法過渡到基于統(tǒng)計(jì)的方法。基于規(guī)則的方法以深層分析和理解自然語言為目的，在實(shí)現(xiàn)中復(fù)雜且困難；基于統(tǒng)計(jì)的方法以淺層處理自然語言為目的，便于利用計(jì)算機(jī)實(shí)現(xiàn)。
　　語義組塊分析技術(shù)是自然語言處理中淺層語義分析和句法分析的代表，旨在解釋自然語言中語法和語義之間的關(guān)聯(lián)。組塊的長度

2、介于句子和單詞之間，在各種自然語言中有著不同的劃分，本文主要在漢語上展開相關(guān)的研究工作。
　　漢語的組塊分析并沒有統(tǒng)一的描述體系，因研究目的不同，研究者們各自提出了不同的組塊分析體系。組塊分析是淺層句法分析技術(shù)，基于對漢語句子語法和語義綜合考慮進(jìn)行分析的目的，本文在組塊分析的相關(guān)任務(wù)語義角色標(biāo)注問題上，沿用前人對語義組塊的定義，對語義組塊識別階段的關(guān)鍵技術(shù)進(jìn)行了深入的研究。
　　語義組塊分析是自然語言處理中淺層語義分析和句法

3、分析的重要內(nèi)容，本文針對漢語語義組塊識別中普遍存在的召回率不高這一問題，提出了一種新的標(biāo)注方式：IO標(biāo)注法，并利用支持向量機(jī)（SVM）模型二類分類的特性充分地發(fā)揮了該標(biāo)注法只有兩種標(biāo)識的優(yōu)勢，在語義組塊識別階段極大地提高了召回率進(jìn)而提升了F1值。同時，本文也使用條件隨機(jī)場（CRF）模型對語義組塊按I、O標(biāo)識進(jìn)行了序列標(biāo)注的研究。實(shí)驗(yàn)結(jié)果表明，在漢語的賓州命題庫上，結(jié)合IO標(biāo)注法的基于支持向量機(jī)的語義組塊識別系統(tǒng)可以取得最好的性能，將F1

4、值提高到了80.30％，高于采取其它標(biāo)注法的系統(tǒng)，實(shí)驗(yàn)還進(jìn)一步表明不同標(biāo)注法對語義組塊識別系統(tǒng)性能的影響。
　　本文具體的組織結(jié)構(gòu)如下：首先，介紹了語義組塊識別的流程及評價方法，從中可知，經(jīng)過語義組塊識別后，句子中的各成分被標(biāo)注了不同的標(biāo)識，表征該成分是否是語義組塊，本文以標(biāo)注方式作為切入點(diǎn)，提出了一種全新的標(biāo)注法，將其應(yīng)用到語義組塊識別階段，并與傳統(tǒng)的標(biāo)注方式做出比較；其次，結(jié)合 IO標(biāo)注法，使用統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法CRF和SVM建