基于HMM的滿文文本識別后處理的研究.pdf

1、本文討論了脫機(jī)手寫體滿文文本識別后處理系統(tǒng)的設(shè)計和實(shí)現(xiàn)，其中采用了在文本識別后處理中應(yīng)用最廣泛的技術(shù)，即基于隱馬爾可夫模型(HMM)的后處理和基于詞匹配的后處理方法。 論文首先敘述了少數(shù)民族語言信息化的現(xiàn)狀及滿文識別后處理的意義和必要性。從總體上描述了滿文文本識別系統(tǒng)的結(jié)構(gòu)和后處理在整個識別系統(tǒng)中的作用。然后，列舉了在文本識別后處理過程中應(yīng)用的比較成熟的和正在探索的一些方法。主要包括：基于詞匹配的文本識別后處理、基于句法-語義的

2、文本識別后處理、基于人工神經(jīng)網(wǎng)絡(luò)的文本識別后處理、基于統(tǒng)計方法的文本識別后處理。并且在討論基于統(tǒng)計的文字識別的后處理時，著重的討論了隱馬爾可夫模型(HMM)在脫機(jī)手寫體滿文文本識別后處理中的基本思想和方法。在采用隱馬爾可夫模型(HMM)進(jìn)行文本識別后處理時，提出了一種有效估算單字識別的結(jié)果可信度(即單字識別置信度)的方法，準(zhǔn)確的估算單字識別結(jié)果對進(jìn)一步進(jìn)行識別后處理具有重要的意義。接著對影響后處理的幾個重要因素：語料庫的規(guī)模，語料的選取

3、，數(shù)據(jù)平滑做了重點(diǎn)討論。 在討論詞匹配的后處理方法時，首先分析統(tǒng)計方法的不足：統(tǒng)計語言模型僅僅考慮了語言的上下文關(guān)系，但不考率任何的語法和語義關(guān)系。在實(shí)現(xiàn)中假定一個滿語的語句是一個一階或二階馬爾可夫鏈，這樣實(shí)現(xiàn)簡化的假設(shè)使發(fā)生錯誤的概率進(jìn)一步增大。事實(shí)上，馬爾可夫鏈只對非單詞詞組有較好的連接的關(guān)系。轉(zhuǎn)移概率本身是由訓(xùn)練語料庫決定，與實(shí)際文本有一定的偏差。然后介紹了詞匹配方法的思想，最后提出詞匹配法和隱馬爾可夫模型(HMM)相結(jié)合