藏文編碼識(shí)別與轉(zhuǎn)換算法的研究與實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，藏文信息處理的工作取得了很大的進(jìn)步。但是由于藏文國(guó)際標(biāo)準(zhǔn)編碼和國(guó)家標(biāo)準(zhǔn)編碼出臺(tái)的相對(duì)滯后，目前市場(chǎng)上各種軟件廠商采取自己的編碼標(biāo)準(zhǔn)，使得各種藏文資料、網(wǎng)站之間不能兼容，信息不能共享，從而嚴(yán)重影響了藏文信息處理工作的發(fā)展。目前大多數(shù)文獻(xiàn)資料仍然是采用了整字編碼的GB2312體系的編碼作為藏文編碼。
　　 本文首先討論了藏文編碼識(shí)別與轉(zhuǎn)換中的關(guān)鍵問(wèn)題，介紹了藏文結(jié)構(gòu)特點(diǎn)和統(tǒng)計(jì)學(xué)特征，介紹了各種可能

2、的識(shí)別準(zhǔn)則并進(jìn)行分析比較。確定了使用以藏文的音節(jié)點(diǎn)間距規(guī)律為特征和高頻音節(jié)為特征的識(shí)別方法對(duì)方正Windows、方正Dos、同元、華光Windows、華光Dos、班智達(dá)、ISO/IEC10646基本集、國(guó)家標(biāo)準(zhǔn)擴(kuò)充集A的藏文編碼識(shí)別；并能夠正確地將藏文文本與其他語(yǔ)言區(qū)分。
　　 其次為了實(shí)現(xiàn)各種非標(biāo)準(zhǔn)藏文編碼到國(guó)家標(biāo)準(zhǔn)或國(guó)際標(biāo)準(zhǔn)藏文編碼的統(tǒng)一轉(zhuǎn)換，本文主要進(jìn)行的工作分為兩個(gè)部分：首先制定基于GB2312體系非標(biāo)準(zhǔn)的藏文編碼到國(guó)家

3、標(biāo)準(zhǔn)擴(kuò)充集編碼之間的查詢對(duì)照表，同時(shí)依據(jù)分析后需要轉(zhuǎn)換的編碼的特征采用基于個(gè)編碼特點(diǎn)的查詢算法實(shí)現(xiàn)了方正Windows、方正Dos、同元、華光Windows、華光Dos等藏文編碼向ISO/IEC10646基本集和國(guó)家標(biāo)準(zhǔn)擴(kuò)充集A的藏文編碼的轉(zhuǎn)換；同時(shí)也實(shí)現(xiàn)了，國(guó)家標(biāo)準(zhǔn)擴(kuò)充集A到ISO/IEC10646基本集的轉(zhuǎn)換。
　　 最后設(shè)計(jì)了藏文編碼識(shí)別與轉(zhuǎn)換系統(tǒng)，通過(guò)大量數(shù)據(jù)集對(duì)本系統(tǒng)進(jìn)行了測(cè)試。由測(cè)試結(jié)果可知該系統(tǒng)對(duì)藏文編碼的識(shí)別與轉(zhuǎn)