常用漢字的結(jié)構(gòu)編碼與識別系統(tǒng).pdf

1、隨著計算機技術(shù)的不斷發(fā)展，人們希望計算機能夠獨立完成更具有挑戰(zhàn)性的工作。光學(xué)字符識別(Optical Character Recognition，OCR)教給計算機一定的規(guī)則，讓計算機自動辨識印刷在紙上或人寫在紙上的文字。是自然語言處理領(lǐng)域十分重要的研究方向，涉及到人工智能、數(shù)字圖像處理、模式識別、自然語言理解、信息論等諸多學(xué)科。實現(xiàn)對字符的高效處理，從中找出有價值的信息在當(dāng)今科學(xué)技術(shù)迅速發(fā)展的時代，對這一技術(shù)提出了更高的要求。

2、　　目前，字符識別技術(shù)的水平與實際的需求之間仍然存在著一定的距離。已有的識別方法尚未能得到十分理想的效果。由于字符的字形變化多種多樣，印刷體的字符存在字體的差異，而手寫體字符的形狀更沒有統(tǒng)一的規(guī)則。在所有字符中，漢字字符的識別技術(shù)又因其數(shù)量眾多，字體多變、結(jié)構(gòu)復(fù)雜而困難重重。已有的漢字識別系統(tǒng)大都對所有漢字字符進行處理，而漢字字符中許多形近字之間僅有一個筆劃的差異，更增加了區(qū)分的難度。
　　日常生活中常用的漢字為3500個，其中常

3、用字2500個與次常用字1000個，統(tǒng)稱為常用字。經(jīng)計算機抽樣檢測，常用字在語料中的覆蓋率達到99.48％。結(jié)合實際應(yīng)用需求考慮，雖然文字資料中會出現(xiàn)部分非常用字，甚至還有某些生僻字，但它們只在特定的場合才會用到，用于輸入及書寫的漢字均在常用字范圍內(nèi)。據(jù)此，將待處理的漢字字符限定在常用字范圍內(nèi)，即需要識別的漢字字符僅為3500個常用字，可以滿足一般的通信要求。
　　通過降低待識別字符的數(shù)量可以降低識別難度。另外，盡管漢字字形多變，

4、但事實上，漢字中有固定的筆劃結(jié)構(gòu)，在五筆輸入法中稱之為字根。它們是構(gòu)成漢字的基本結(jié)構(gòu)，字形穩(wěn)定，且字根本身攜帶一定的意義。因為漢字是從象形文字發(fā)展演變而來的，有的字形實際上就是物體的形象化表示。五筆輸入法中統(tǒng)計出約125個字根，用它們將所有的漢字的結(jié)構(gòu)進行表示。字根可以看作二維的碼元，漢字就是二維的編碼。由于漢字字符是具有不同字形的符號，故用字符中的筆劃結(jié)構(gòu)對漢字進行編碼可以實現(xiàn)編碼的唯一性。
　　本文對五筆輸入法中所使用的字根做

5、了篩選，選用93個字根對3149個常用漢字進行編碼，得到一張漢字的字根編碼表。同時，對字根的字形特征進行了細致分析。首先提取筆劃特征，通過分析字形中筆劃橫與筆劃豎的數(shù)量與分布來描述一個漢字字符。然后分析各個子類中的字符的結(jié)構(gòu)特征，提取出具有較高區(qū)分度的特征。最后結(jié)合字符的結(jié)構(gòu)特征與筆劃特征進行識別以提高匹配的速度與識別的準確度。
　　本文中還提出了一個基于字根編碼的漢字識別系統(tǒng)的框架。輸入時將不再輸入完整的漢字，而是輸入該漢字在字