藏語(yǔ)分詞與詞性標(biāo)注研究.pdf

1、藏語(yǔ)信息處理技術(shù)經(jīng)過(guò)二十多年的發(fā)展，無(wú)論是在藏文信息處理研究及其相關(guān)標(biāo)準(zhǔn)制定方面，還是在藏語(yǔ)信息處理應(yīng)用開(kāi)發(fā)方面，都取得了不少成績(jī)。藏語(yǔ)信息處理技術(shù)也逐步邁入到語(yǔ)言信息處理層面。雖然藏語(yǔ)信息處理研究在技術(shù)上緊跟著英漢語(yǔ)等之后，但作為信息處理研究基礎(chǔ)的語(yǔ)料資源相對(duì)貧乏。公開(kāi)的藏語(yǔ)語(yǔ)料庫(kù)都是未標(biāo)注的生語(yǔ)料庫(kù)，其應(yīng)用價(jià)值非常有限。由于對(duì)藏語(yǔ)的本體研究不夠深入，許多對(duì)藏語(yǔ)信息處理有價(jià)值的屬性未能挖掘和描述出來(lái)，因而限制了藏語(yǔ)信息處理技術(shù)的發(fā)展和

2、應(yīng)用范圍。針對(duì)以上問(wèn)題，本文采用了多種統(tǒng)計(jì)模型和方法來(lái)進(jìn)行藏語(yǔ)分詞和詞性標(biāo)注研究，并取得了以下幾個(gè)方面的主要成果:
　　一、提出了基于詞位的藏語(yǔ)分詞方法，在國(guó)內(nèi)外較早地將藏語(yǔ)黏寫(xiě)形式的特征融合到藏語(yǔ)分詞研究當(dāng)中。
　　我們采用了基于詞位的統(tǒng)計(jì)方法來(lái)處理藏語(yǔ)分詞問(wèn)題，將藏語(yǔ)分詞轉(zhuǎn)化為序列標(biāo)注問(wèn)題，實(shí)現(xiàn)了一個(gè)藏語(yǔ)分詞系統(tǒng)。該系統(tǒng)采用條件隨機(jī)場(chǎng)模型，針對(duì)藏語(yǔ)黏寫(xiě)形式的語(yǔ)法特征，將漢語(yǔ)分詞中常用的四詞位標(biāo)簽集改進(jìn)為更適合藏語(yǔ)特點(diǎn)的六

3、詞位標(biāo)簽集，并使用100萬(wàn)余經(jīng)人工反復(fù)校對(duì)的語(yǔ)料對(duì)模型進(jìn)行訓(xùn)練。經(jīng)實(shí)驗(yàn)測(cè)試，在大規(guī)模真實(shí)語(yǔ)料的測(cè)試中，系統(tǒng)的開(kāi)放測(cè)試F值達(dá)到了91％，分詞性能基本上令人滿意。在進(jìn)一步的研究中，我們經(jīng)分析發(fā)現(xiàn)分詞精度主要受到了藏語(yǔ)黏寫(xiě)形式識(shí)別結(jié)果的限制?？紤]到黏寫(xiě)形式的復(fù)雜多樣，我們?cè)诳偨Y(jié)前人的研究成果的基礎(chǔ)上，加入了基于規(guī)則的后處理環(huán)節(jié)，最終的測(cè)試結(jié)果F值達(dá)到了95％以上，已能滿足藏語(yǔ)語(yǔ)料庫(kù)建設(shè)的實(shí)際需求。
　　二、在藏語(yǔ)分詞研究的基礎(chǔ)上，根據(jù)藏

4、族人名特征探討了藏語(yǔ)人名識(shí)別方法。
　　通過(guò)研究藏語(yǔ)人名的特點(diǎn)，我們總結(jié)了藏語(yǔ)人名識(shí)別的多種策略并最終選擇了基于統(tǒng)計(jì)的方法來(lái)實(shí)現(xiàn)藏語(yǔ)人名的識(shí)別。我們基于條件隨機(jī)場(chǎng)模型，通過(guò)使用名字邊界、前后綴、上下文等特征，給出了藏文人名識(shí)別的一種方法。最終實(shí)驗(yàn)系統(tǒng)在開(kāi)放測(cè)試中取得的F值達(dá)到了91.26％。雖然未能進(jìn)一步發(fā)掘名字與普通詞語(yǔ)同形這一極易導(dǎo)致歧義現(xiàn)象的特征，導(dǎo)致系統(tǒng)識(shí)別性能未能達(dá)到十分理想的效果，但可以通過(guò)對(duì)特征標(biāo)簽集進(jìn)行調(diào)整，同時(shí)優(yōu)

5、化特征模板集，進(jìn)一步提高識(shí)別效果。
　　三、綜合使用了多種統(tǒng)計(jì)模型實(shí)現(xiàn)了藏語(yǔ)詞性標(biāo)注研究，在國(guó)內(nèi)外首次采用最大熵結(jié)合條件隨機(jī)場(chǎng)模型實(shí)現(xiàn)了藏語(yǔ)的詞性標(biāo)注方法。
　　通過(guò)對(duì)藏語(yǔ)詞性的研究，在滿足基本的詞法分析的需求下，我們將藏語(yǔ)詞類標(biāo)記集精簡(jiǎn)到統(tǒng)計(jì)模型切實(shí)可用的規(guī)模，然后選擇最大熵模型構(gòu)建了一個(gè)藏語(yǔ)詞性標(biāo)注系統(tǒng)，并采用小規(guī)模的語(yǔ)料進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果顯示，在小規(guī)模語(yǔ)料訓(xùn)練下，基于最大熵的詞性標(biāo)注系統(tǒng)達(dá)到了87.76％的準(zhǔn)確率，已基

6、本接近詞法分析可用的要求。
　　在最大熵模型的基礎(chǔ)上，我們提出了基于條件隨機(jī)場(chǎng)的修正模型。該模型在最大熵模型的輸出結(jié)果上進(jìn)行訓(xùn)練，從而可以將最大熵模型中次優(yōu)結(jié)果和再次優(yōu)結(jié)果中的正確標(biāo)注挑選出來(lái)，提高詞性標(biāo)注的準(zhǔn)確率。實(shí)驗(yàn)證明，采用同樣規(guī)模的訓(xùn)練語(yǔ)料和測(cè)試語(yǔ)料，最大熵結(jié)合條件隨機(jī)場(chǎng)的詞性標(biāo)注模型達(dá)到了89.12％的準(zhǔn)確率，已接近同類漢語(yǔ)詞性標(biāo)注系統(tǒng)的水平。
　　四、實(shí)現(xiàn)了一種基于條件隨機(jī)場(chǎng)的藏語(yǔ)分詞標(biāo)注一體化模型，將分詞和詞性

7、標(biāo)注整合到一個(gè)統(tǒng)一的系統(tǒng)中，為藏語(yǔ)詞法分析提供了新的解決途徑。
　　我們充分利用了分詞與詞性標(biāo)注間更深層次的依賴關(guān)系，在一體化模型中利用詞性信息來(lái)處于分詞過(guò)程中遇到的歧義問(wèn)題。在較小的訓(xùn)練語(yǔ)料規(guī)模下，藏語(yǔ)分詞標(biāo)注一體化模型在開(kāi)放測(cè)試中分詞結(jié)果的F值達(dá)到了89.0％，這表明一體化模型將詞位信息和所屬詞的詞性信息很好的結(jié)合起來(lái)，能更有效的提高分詞精度，其分詞效果已基本可以滿足語(yǔ)料庫(kù)對(duì)自動(dòng)分詞的需求。一體化模型的詞性標(biāo)注準(zhǔn)確率也達(dá)到了8