基于HMM的滿文文本識(shí)別后處理的研究.pdf

1、本文討論了脫機(jī)手寫體滿文文本識(shí)別后處理系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)，其中采用了在文本識(shí)別后處理中應(yīng)用最廣泛的技術(shù)，即基于隱馬爾可夫模型(HMM)的后處理和基于詞匹配的后處理方法。 論文首先敘述了少數(shù)民族語言信息化的現(xiàn)狀及滿文識(shí)別后處理的意義和必要性。從總體上描述了滿文文本識(shí)別系統(tǒng)的結(jié)構(gòu)和后處理在整個(gè)識(shí)別系統(tǒng)中的作用。然后，列舉了在文本識(shí)別后處理過程中應(yīng)用的比較成熟的和正在探索的一些方法。主要包括：基于詞匹配的文本識(shí)別后處理、基于句法-語義的

2、文本識(shí)別后處理、基于人工神經(jīng)網(wǎng)絡(luò)的文本識(shí)別后處理、基于統(tǒng)計(jì)方法的文本識(shí)別后處理。并且在討論基于統(tǒng)計(jì)的文字識(shí)別的后處理時(shí)，著重的討論了隱馬爾可夫模型(HMM)在脫機(jī)手寫體滿文文本識(shí)別后處理中的基本思想和方法。在采用隱馬爾可夫模型(HMM)進(jìn)行文本識(shí)別后處理時(shí)，提出了一種有效估算單字識(shí)別的結(jié)果可信度(即單字識(shí)別置信度)的方法，準(zhǔn)確的估算單字識(shí)別結(jié)果對(duì)進(jìn)一步進(jìn)行識(shí)別后處理具有重要的意義。接著對(duì)影響后處理的幾個(gè)重要因素：語料庫(kù)的規(guī)模，語料的選取

3、，數(shù)據(jù)平滑做了重點(diǎn)討論。 在討論詞匹配的后處理方法時(shí)，首先分析統(tǒng)計(jì)方法的不足：統(tǒng)計(jì)語言模型僅僅考慮了語言的上下文關(guān)系，但不考率任何的語法和語義關(guān)系。在實(shí)現(xiàn)中假定一個(gè)滿語的語句是一個(gè)一階或二階馬爾可夫鏈，這樣實(shí)現(xiàn)簡(jiǎn)化的假設(shè)使發(fā)生錯(cuò)誤的概率進(jìn)一步增大。事實(shí)上，馬爾可夫鏈只對(duì)非單詞詞組有較好的連接的關(guān)系。轉(zhuǎn)移概率本身是由訓(xùn)練語料庫(kù)決定，與實(shí)際文本有一定的偏差。然后介紹了詞匹配方法的思想，最后提出詞匹配法和隱馬爾可夫模型(HMM)相結(jié)合