大詞匯量手語(yǔ)詞語(yǔ)分割的研究.pdf

1、中國(guó)手語(yǔ)環(huán)境下的自然語(yǔ)言處理是人工智能的一個(gè)重要分支，而手語(yǔ)環(huán)境下的漢語(yǔ)自動(dòng)分詞是中國(guó)自然語(yǔ)言處理的一項(xiàng)基礎(chǔ)性工作，也是中文信息處理的一個(gè)重要問(wèn)題，同時(shí)也是實(shí)現(xiàn)自然語(yǔ)言和手語(yǔ)語(yǔ)言互譯的一個(gè)技術(shù)難點(diǎn)。 中國(guó)手語(yǔ)環(huán)境下的分詞方法和通用的分詞方法差異很大，本文在分析手語(yǔ)詞匯和手語(yǔ)環(huán)境的基礎(chǔ)上，進(jìn)行了排歧問(wèn)題、手語(yǔ)詞語(yǔ)分割問(wèn)題等方面的研究。 本文提出了一種基于統(tǒng)計(jì)模型和知識(shí)庫(kù)相結(jié)合歧義消減算法，即一種基于詞的二元模型的廣度似然比

2、GLR算法，該算法結(jié)合了互信息MI模型和似然比LR模型的優(yōu)點(diǎn)，不但減少了排歧過(guò)程的計(jì)算量，而且解決了數(shù)據(jù)稀疏敏感的問(wèn)題。實(shí)驗(yàn)表明，該方法可有效的進(jìn)行歧義消減。 本文關(guān)于手語(yǔ)詞語(yǔ)分割的問(wèn)題主要做了兩方面的工作： 手語(yǔ)詞典重構(gòu)問(wèn)題：針對(duì)中國(guó)手語(yǔ)的特點(diǎn)設(shè)計(jì)了適應(yīng)于手語(yǔ)環(huán)境的字典重構(gòu)策略，首先根據(jù)詞典中無(wú)重復(fù)的手語(yǔ)詞的首字進(jìn)行HASH散列，然后首字相同的詞語(yǔ)聚類存儲(chǔ)。此結(jié)構(gòu)不但使首字相同的詞語(yǔ)聚類，而且提高了詞語(yǔ)查找匹配的速度。

3、 手語(yǔ)詞分割的算法方面：提出了一種漸進(jìn)式長(zhǎng)度優(yōu)先的正向匹配和逆向匹配分詞算法。該方法不僅極大縮減了詞語(yǔ)查找范圍，且大大的減少了手語(yǔ)詞查找和匹配的次數(shù)，提高了系統(tǒng)的性能，保證了系統(tǒng)的實(shí)時(shí)性。 本文設(shè)計(jì)和實(shí)現(xiàn)了大詞匯量手語(yǔ)詞的“漢語(yǔ)自動(dòng)分詞系統(tǒng)”，該系統(tǒng)包括Web文本的抓取和解析模塊、語(yǔ)料預(yù)處理模塊、語(yǔ)料切分模塊、歧義字段識(shí)別和消減等模塊。通過(guò)用大量的不同類型的語(yǔ)料作為測(cè)試集，做了封閉式和開(kāi)放式的實(shí)驗(yàn)，驗(yàn)證了系統(tǒng)的性能。與人