消除重復(fù)藏文網(wǎng)頁(yè)的完整解決方案(圖文)

1、消除重復(fù)藏文網(wǎng)頁(yè)的完整解決方案消除重復(fù)藏文網(wǎng)頁(yè)的完整解決方案(圖文圖文)2藏語(yǔ)及藏語(yǔ)編碼2.1藏語(yǔ)特點(diǎn)藏文共有30個(gè)輔音字母，4個(gè)元音符號(hào)，有自身一套嚴(yán)格而完整的字母組合排列規(guī)則。藏文除了進(jìn)行橫向拼寫外，同時(shí)還進(jìn)行縱向拼寫，即前加字、基字（字元）、后加字、再后加字進(jìn)行橫向拼寫，字元本身還可以是基字與上加字、下加字、元音的縱向拼寫。音節(jié)連寫時(shí)中間用點(diǎn)隔開，將兩點(diǎn)之間的部分稱為音節(jié)。音節(jié)中的縱向單位叫字丁，一個(gè)音節(jié)至少1個(gè)字丁，最多4個(gè)字丁

2、，即最多7個(gè)成分(基字、上加字、下加字、前加字、后加字、又后加字，元音)構(gòu)成，7個(gè)成分中除基字外，其它成分少一個(gè)或幾個(gè)仍然可以成音節(jié)。字丁是音節(jié)的基本單位，音節(jié)是語(yǔ)音結(jié)構(gòu)的基本單位，詞匯有音節(jié)構(gòu)成，按照一定的語(yǔ)法結(jié)構(gòu)構(gòu)成句子[1]。（例如圖一）藏文的字符可以通過(guò)疊加組合為新的字形，其變化形式異常復(fù)雜，所以從信息處理的角度而言藏文屬于復(fù)雜文字的范疇。論文參考。2.2藏語(yǔ)編碼特點(diǎn)藏語(yǔ)編碼千差萬(wàn)別，從區(qū)域上大體分為兩類：國(guó)內(nèi)編碼和國(guó)際編碼。國(guó)

3、內(nèi)有方正DOS編碼（以制定者的名字稱呼其編碼主要是因?yàn)橥瑯邮褂肎BK編碼的藏文編碼不止一家，并且字符碼位分布迥然不同，因此本文中國(guó)內(nèi)藏文編碼就以制定者的名字加編碼二字稱呼），方正Windows編碼，華光DOS編碼，華光Windows編碼，同元編碼等[357]；國(guó)際編碼如Unicode基本集編碼，Unicode基本集編碼和基本集擴(kuò)充集A，ISOIEC106461編碼[8]華光編碼尚未分析過(guò)。就一個(gè)藏文音節(jié)來(lái)分析，采用同元編碼時(shí)需要8個(gè)字節(jié)

4、；采用方正Windows編碼時(shí)需要8個(gè)字節(jié)；采用Unicode編碼時(shí)需要14個(gè)字節(jié)。存儲(chǔ)上的差別在當(dāng)前相對(duì)廉價(jià)的硬件資源當(dāng)中，尚不能產(chǎn)生制約。但是編碼不統(tǒng)一，就根本無(wú)法進(jìn)行消重檢測(cè)。3重復(fù)頁(yè)面消除消除重復(fù)頁(yè)面的一般步驟是：頁(yè)面特征提??；相似度計(jì)算；根據(jù)閥值消除重復(fù)[2]。3.1頁(yè)面特征提取Shingle算法[2]頁(yè)面特征提取為算法當(dāng)中的經(jīng)典算法，Shingle在英語(yǔ)里有層層疊放的瓦片的意思，該算法正如其名，下面使用例子來(lái)加以說(shuō)明。例如：

5、藏文已有近一千四百年的歷史，用藏文記載的經(jīng)典文獻(xiàn)、古籍著述和譯作浩如煙海。以5個(gè)漢字為一個(gè)Shingle粒度，使用該算法處理后，結(jié)果如圖二，正如層層疊放的瓦片。但是藏文Shingle粒度的選擇及粒度的最小單位都沒(méi)有人提出。藏文也是拼音文字，是由元音、輔音字符按照書寫順序依次寫出，與英語(yǔ)很類似但與漢語(yǔ)幾乎完全不同，編碼也是這樣。因此通過(guò)統(tǒng)計(jì)和實(shí)驗(yàn)獲知，Shingle粒度的最小單位應(yīng)該為音節(jié)，藏語(yǔ)音節(jié)是由音節(jié)點(diǎn)劃分出來(lái)的，易于劃分，并且藏語(yǔ)