條件概率模型研究及其在中文名實(shí)體識(shí)別中的應(yīng)用.pdf

1、條件概率模型，又稱為判別式模型（Discriminative Model），是一類常用的模式識(shí)別方法，它相對(duì)于產(chǎn)生式模型有很多優(yōu)點(diǎn)。產(chǎn)生式模型早期被廣泛應(yīng)用到自然語(yǔ)言處理中，包括詞性標(biāo)注、邊界識(shí)別、名實(shí)體識(shí)別、句法分析等。從上世紀(jì)80年代后期開(kāi)始，條件概率模型開(kāi)始引起研究者們的注意，特別是在自然語(yǔ)言處理領(lǐng)域，由于條件概率模型更適合序列標(biāo)注以及可以使用豐富特征的特點(diǎn)，因此條件概率模型在諸多的應(yīng)用中，例如詞性標(biāo)注、名實(shí)體識(shí)別、組塊分析、中文

2、分詞等，其性能表現(xiàn)都超過(guò)了產(chǎn)生式模型。
　　本文主要針對(duì)最大熵模型和條件隨機(jī)域模型進(jìn)行了較深入的理論研究。同時(shí)討論了如何利用最大熵模型和條件隨機(jī)域模型進(jìn)行中文名實(shí)體識(shí)別，通常在名實(shí)體中，人名、地名、機(jī)構(gòu)名比較難以識(shí)別，而數(shù)字、日期、時(shí)間等類別采用基于規(guī)則的方法就可以很好的識(shí)別，因此本文的研究重點(diǎn)是針對(duì)前三種名實(shí)體的識(shí)別。具體研究?jī)?nèi)容包括以下幾個(gè)方面：
　　第一，針對(duì)最大熵模型在對(duì)不完整樣本進(jìn)行分類時(shí)表現(xiàn)不好的問(wèn)題，我們提出了

3、改進(jìn)原有模型中特征補(bǔ)償?shù)姆绞?。常用于?xùn)練最大熵模型參數(shù)的GIS（Generalized Iterative Scaling）算法要求必須滿足一個(gè)條件：每個(gè)事件對(duì)不同的輸出類別應(yīng)該包含相同數(shù)量的特征。針對(duì)這一要求，傳統(tǒng)的方法是采用一個(gè)全局唯一的補(bǔ)償特征，然后乘以丟失的特征數(shù)。其潛在的思想是認(rèn)為丟失特征對(duì)分類的貢獻(xiàn)是等同的。本文提出了一種改進(jìn)的特征補(bǔ)償策略，即認(rèn)為不同的特征類型對(duì)不同的輸出類別有不同的貢獻(xiàn)。通過(guò)把改進(jìn)后的模型在機(jī)器學(xué)習(xí)的標(biāo)準(zhǔn)

4、數(shù)據(jù)集上和原模型做對(duì)比測(cè)試表明，修正后的補(bǔ)償策略能提高模型的學(xué)習(xí)效率和分類精度。
　　第二，本文分析了傳統(tǒng)最大熵模型中特征表達(dá)方式的特點(diǎn)，指出這種特征表達(dá)方式存在的兩個(gè)缺點(diǎn)：首先是沒(méi)有考慮屬性類型對(duì)分類的影響，其次，由于增加補(bǔ)償特征來(lái)彌補(bǔ)丟失屬性對(duì)分類的影響，導(dǎo)致迭代算法的收斂速度降低。為此，我們提出了一種改進(jìn)最大熵模型特征表達(dá)的方法，即在傳統(tǒng)模型特征的基礎(chǔ)上，引入了屬性類型對(duì)分類的影響，新模型的特征包含兩部分：屬性值對(duì)分類的貢獻(xiàn)

5、和屬性類型對(duì)分類的貢獻(xiàn)。在絕大多數(shù)分類任務(wù)中，訓(xùn)練集中的樣本大多數(shù)都是完整的或者不同樣本丟失的屬性并不相同?；谶@個(gè)事實(shí)，在訓(xùn)練過(guò)程中，利用完整樣本和在當(dāng)前屬性上有取值的樣本訓(xùn)練得到每種屬性類型對(duì)分類的貢獻(xiàn)度，該貢獻(xiàn)度通過(guò)線形組合和原模型中的特征共同作用于樣本的分類。通過(guò)在標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)數(shù)據(jù)集上的實(shí)驗(yàn)測(cè)試，改進(jìn)后的特征表達(dá)的分類性能較傳統(tǒng)最大熵模型的性能有較大提高。
　　第三，本文將最大熵模型用于中文名實(shí)體識(shí)別，并在其框架下，定義了

6、多種特征，其中包括上下文特征（N-gram）、詞典特征（中文姓氏詞典、地名詞典）、構(gòu)詞特征（后綴）等。同時(shí)，我們?cè)谘芯窟^(guò)程中發(fā)現(xiàn)，在加入詞典特征后，某些詞的詞典特征因?yàn)楣蚕頇?quán)值，而使得權(quán)值過(guò)度增加，無(wú)法正確識(shí)別出該詞在特定上下文環(huán)境中的類別。我們把這種現(xiàn)象稱之為“權(quán)重偏置”（Weight Bias）。為了解決這一問(wèn)題，本文提出了通過(guò)把特征分為原子特征，然后再對(duì)原子特征進(jìn)行二元組合和三元組合形成一組復(fù)合特征的策略。同時(shí)為了降低系統(tǒng)的復(fù)雜性

7、，避免過(guò)擬合的發(fā)生，我們采用了基于互信息的特征模板選擇方法。
　　第四，本文采用條件隨機(jī)域（CRF：Conditional Random Field）模型來(lái)進(jìn)行中文名實(shí)體識(shí)別，為了考慮長(zhǎng)距離約束對(duì)名實(shí)體識(shí)別的影響，我們?cè)贑RF模型中融合了觸發(fā)對(duì)的特征。提出了一種基于詞方差的選擇觸發(fā)對(duì)候選詞的方法，并且采用了兩種詞語(yǔ)相關(guān)度的計(jì)算方法，即平均互信息和2χ統(tǒng)計(jì)量，其中2χ統(tǒng)計(jì)量是第一次被用來(lái)抽取中文觸發(fā)對(duì)。更進(jìn)一步對(duì)四種主要的概率模型在