基于n-gram模型的中文分詞技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的廣泛應(yīng)用，語(yǔ)料庫(kù)知識(shí)的不斷擴(kuò)大，人們希望能從這些語(yǔ)料中進(jìn)一步挖掘出更多有用的信息，其方法通常是建立一個(gè)面向各自應(yīng)用領(lǐng)域的語(yǔ)言模型。與傳統(tǒng)的基于規(guī)則的確定性語(yǔ)言模型不同，統(tǒng)計(jì)語(yǔ)言模型(SLM)建立在概率統(tǒng)計(jì)和信息論的基礎(chǔ)上，通過(guò)對(duì)大量語(yǔ)料進(jìn)行統(tǒng)計(jì)以揭示出語(yǔ)言?xún)?nèi)部特有的規(guī)律<'[2]>。分析統(tǒng)計(jì)語(yǔ)言模型的性能以及如何將它應(yīng)用于各種應(yīng)用系統(tǒng)是當(dāng)今自然語(yǔ)占處理領(lǐng)域的熱點(diǎn)之一。 最早應(yīng)用于語(yǔ)音識(shí)別系統(tǒng)的n-gram統(tǒng)計(jì)語(yǔ)言模型

2、，已經(jīng)廣泛地出現(xiàn)在多種自然語(yǔ)言處理系統(tǒng)中。然而，這些系統(tǒng)處理中文信息時(shí)，都會(huì)面臨一個(gè)常見(jiàn)的分詞問(wèn)題。傳統(tǒng)的做法是在現(xiàn)有詞典的基礎(chǔ)上，定義一個(gè)確定性語(yǔ)言模型(DLM)，依據(jù)各種語(yǔ)法規(guī)則實(shí)現(xiàn)機(jī)械分詞。這種方法往往受到詞典的規(guī)模、應(yīng)用領(lǐng)域的限制以及切分規(guī)則過(guò)多等問(wèn)題，而隨著人們對(duì)開(kāi)放式系統(tǒng)的要求越來(lái)越高，基于規(guī)則系統(tǒng)的局限性問(wèn)題顯得十分突出。 基于這種思路，本文旨在將分詞問(wèn)題納入到統(tǒng)計(jì)語(yǔ)言模型的研究領(lǐng)域，分析語(yǔ)言模型的性能和分詞效果之

3、間的關(guān)系，尋找提高分詞效果、優(yōu)化語(yǔ)言模型的各種策略以及擴(kuò)展語(yǔ)言模型規(guī)模的途徑。本文主要討論了n-gram統(tǒng)計(jì)語(yǔ)言模型的相關(guān)知識(shí)及構(gòu)建方法；在基于互信息的邊界探測(cè)算法(Boundary Detection)<'[1]>的基礎(chǔ)上，提出了基于n-gram模型的n-boundar)，分詞算法，并分析了兩個(gè)算法的特點(diǎn)；然后利用EM的思想，通過(guò)這種算法訓(xùn)練更多的生語(yǔ)料以達(dá)到擴(kuò)展模型規(guī)模和提高模型性能的目的；最后通過(guò)幾組實(shí)驗(yàn)數(shù)據(jù)比較，驗(yàn)證了這種分詞算