基于雙數(shù)組的分詞詞典研究與實(shí)現(xiàn).pdf

1、分詞詞典是漢語(yǔ)自動(dòng)分詞系統(tǒng)的一個(gè)基本組成部分，詞典的查詢(xún)速度直接影響到分詞系統(tǒng)的處理速度。在因特網(wǎng)上的中文文本檢索、漢字與漢語(yǔ)語(yǔ)音識(shí)別系統(tǒng)的后處理以及中文文語(yǔ)轉(zhuǎn)換系統(tǒng)的前處理等，均對(duì)分詞速度提出了更高要求，因此建立高效快速的分詞詞典具有顯著的現(xiàn)實(shí)意義。 目前信息處理用的詞典機(jī)制主要有整詞二分、TRIE索引樹(shù)、逐字二分等幾種方法，其中TRIE索引樹(shù)和逐字二分機(jī)制查詢(xún)效率較高。這幾種詞典機(jī)制都是以排序的線性表來(lái)提高查詢(xún)效率，數(shù)據(jù)結(jié)構(gòu)

2、比較復(fù)雜且查詢(xún)速度較慢。本文主要工作是分析了幾種常用詞典構(gòu)造方法的優(yōu)缺點(diǎn)，針對(duì)分詞中特定的查詢(xún)條件，設(shè)計(jì)并實(shí)現(xiàn)了基于雙數(shù)組的分詞詞典，同時(shí)分析了基于雙數(shù)組的分詞詞典的性能。本文將雙數(shù)組方法與其它幾種詞典構(gòu)造方法進(jìn)行了對(duì)比分析。在雙數(shù)組詞典構(gòu)造方法與PAT樹(shù)方法的對(duì)比實(shí)驗(yàn)中，可以看出雙數(shù)組方法的查詢(xún)速度要好于PAT樹(shù)及其變型樹(shù)的查詢(xún)性能。 本文最后給出了分詞詞典實(shí)現(xiàn)的數(shù)據(jù)存儲(chǔ)模型，并詳細(xì)分析了該模型的優(yōu)缺點(diǎn)。該模型的主要特點(diǎn)是將存

3、儲(chǔ)的數(shù)據(jù)分為兩種不同長(zhǎng)度信息進(jìn)行存儲(chǔ)，這樣可以大大減少對(duì)文本的讀取操作，能夠加快分詞的執(zhí)行速度。對(duì)于文中提到的未登錄詞問(wèn)題，本文也做了簡(jiǎn)單的嘗試，利用PAT樹(shù)的動(dòng)態(tài)性特點(diǎn)以及統(tǒng)計(jì)模型的優(yōu)點(diǎn)，從大規(guī)模文本中查找詞頻高于一定閾值的高頻詞，從而識(shí)別出一部分的未登錄詞，進(jìn)而部分解決分詞過(guò)程中未登錄詞過(guò)多的切分問(wèn)題。PAT算法和Double-Array算法具有不同的有缺點(diǎn)，可以滿足不同場(chǎng)合的需要，也可以組合起來(lái)使用，解決詞典查詢(xún)的速度和動(dòng)態(tài)性這兩