基于統(tǒng)計的生物命名實(shí)體識別研究.pdf

1、生物醫(yī)學(xué)文獻(xiàn)中的命名實(shí)體識別是目前被國際廣為關(guān)注的自然語言處理研究問題之一。雖然自然語言處理在某些領(lǐng)域已經(jīng)獲得了很好的效果，但在生物醫(yī)學(xué)領(lǐng)域卻還有不小的差距。由于生物醫(yī)學(xué)的蓬勃發(fā)展，新的命名實(shí)體層出不窮，其不規(guī)則的命名，以及舊詞新用，使生物命名實(shí)體識別成為一項(xiàng)艱巨的任務(wù)，也在一定程度上影響著生物醫(yī)學(xué)領(lǐng)域的研究進(jìn)展。目前的研究方法很多，其中，統(tǒng)計自然語言處理由于其基于統(tǒng)計的學(xué)習(xí)方法不需要研究者具有太多生物醫(yī)學(xué)專業(yè)知識，從而成為生物命名實(shí)體

2、識別研究中常用的方法。 隱馬爾可夫模型是現(xiàn)代語音識別系統(tǒng)中構(gòu)建統(tǒng)計模型的重要手段。它可以在只有少量訓(xùn)練數(shù)據(jù)的情況下學(xué)習(xí)規(guī)則。目前國際上有不少研究者采用了隱馬爾可夫模型及其變形來解決生物命名實(shí)體識別問題，雖然取得了不錯的進(jìn)展，但都沒有達(dá)到“近乎人類”的程度，還有許多問題有待解決，而國內(nèi)的研究也才剛剛起步。所以本文的研究主要采用隱馬爾可夫模型，對生物命名實(shí)體識別問題進(jìn)行初步的研究。進(jìn)行的工作如下： 1、從已標(biāo)注語料庫中用統(tǒng)計

3、的方法訓(xùn)練隱馬爾可夫模型。通過對已標(biāo)注語料進(jìn)行統(tǒng)計得到隱馬爾可夫模型的參數(shù)：狀態(tài)集、發(fā)射符號集、初始狀態(tài)概率、狀態(tài)轉(zhuǎn)移概率、符號發(fā)射概率。在不同的試驗(yàn)中用不同的方法來發(fā)現(xiàn)發(fā)射符號(命名實(shí)體名)的一些命名規(guī)律，對其進(jìn)行歸并，形成發(fā)射符號集，并掘此進(jìn)行各項(xiàng)概率的統(tǒng)計。在計算概率時，為了解決數(shù)據(jù)稀疏問題，采用了線性插值的方法進(jìn)行平滑。在實(shí)現(xiàn)過程中提出了詞結(jié)構(gòu)相似度的概念，為符號歸并提供一個量化標(biāo)準(zhǔn)。 2、在未標(biāo)注語料上測試訓(xùn)練好的隱馬

4、爾可夫模型。以未標(biāo)注語料的一個自然句作為隱馬爾可夫模型的輸入序列，用Viterbi算法獲得輸出狀態(tài)序列，從而得到識別出的生物命名實(shí)體。形成輸入序列時，在不同的試驗(yàn)中采用了不同的分詞方法。通過計算自然句中一組詞與發(fā)射符號集中各項(xiàng)的相似度，確定把自然句劃分為詞序列的邊界，并輔以簡單的詞性分析。 3、計算測試結(jié)果的召回率和精確率，通過比較，對隱馬爾可夫模型進(jìn)行改進(jìn)，并重復(fù)以上過程直到獲得一個可以有效識別生物命名實(shí)體的隱馬爾可夫模型。