基于統(tǒng)計學(xué)習(xí)的中文分詞改進(jìn)及其在面向應(yīng)用分詞中的應(yīng)用.pdf

1、在漢語中，句子由連續(xù)的漢字組成，中文分詞完成句子從有字的序列轉(zhuǎn)化為詞的序列的任務(wù)。傳統(tǒng)的機(jī)械分詞方法基于人工維護(hù)的辭典，需要大量的維護(hù)成本。本文提出一種基于統(tǒng)計學(xué)習(xí)的分詞方法，以期在最小人工干預(yù)的條件下達(dá)到盡可能高的分詞性能。
　　 本文首先對中文分詞技術(shù)做了概述。指出了當(dāng)前中文分詞領(lǐng)域中存在的一些難點問題，并對常見的分詞理論和技術(shù)進(jìn)行了回顧，為論文的研究奠定了理論基礎(chǔ)。
　　 第三章詳細(xì)描述了本文提出的基于統(tǒng)計學(xué)習(xí)的分

2、詞方法。該方法在傳統(tǒng)的統(tǒng)計方法基礎(chǔ)上做了亮點改進(jìn):1、引入了基于對數(shù)似然比的漢字間關(guān)聯(lián)度描述，并與逐點互信息和信息熵相結(jié)合，提出了一種混合漢字間關(guān)聯(lián)度度量方法;2、將常用的二元語法擴(kuò)展為三元語法，提出了一種性能優(yōu)化的三元語法獲取和使用方法。
　　 根據(jù)不同自然語言處理應(yīng)用對分詞的需求并不相同這一基本事實，本文第四章中提出了一種面向應(yīng)用的分詞架構(gòu)，將基于統(tǒng)計學(xué)習(xí)的分詞方法用于未登錄詞識別和分詞粒度調(diào)整。面向應(yīng)用的分詞方法有效彌補(bǔ)了