基于文本類別的層次中文分詞算法研究.pdf

1、隨著社會信息化的發(fā)展，無論是黨政機關，還是公司企業(yè)學校，人們更青睞于用電子文檔的形式來存儲、備份文檔。于是電子信息迅速增長成了海量信息，這給人們從中獲取自己所需的信息增加了很大的困難，所以必須對海量信息進行處理，中文分詞技術就是中文信息處理的基礎。經過十幾年的研究發(fā)展中文分詞技術有了很大突破，但是中文分詞系統(tǒng)始終存在著不足，這是由于中文語言的復雜性導致的。
　　 為了提高中文分詞系統(tǒng)的準確率，通過對中文分詞現狀的學習，深入研究了

2、常用的中文分詞算法和各種分詞詞典結構，提出了改進算法。本文提出了一個基于雙數組的逆向匹配分詞算法，在詞典結構上，使用雙數組詞典，它繼承了TRIE索引樹逐字匹配的特點，節(jié)省了空間，提高了查詢效率；在匹配算法上，根據統(tǒng)計在同等條件下，單純使用逆向最大匹配比正向最大匹配的錯誤率低，所以本文實現的算法是結合了雙數組和逆向匹配的優(yōu)點。從實驗結果來看，這種結合了雙數組逆序詞典結構和逆向匹配的中文分詞算法取得了較好的成果。
　　 為了給算法提

3、供一個好的應用環(huán)境，本文設計了一個基于文檔類別的層次中文分詞系統(tǒng)。一般說來，分詞模型不考慮文本的類別屬性，然而對于類別信息豐富、復雜度大、專業(yè)性強的知識管理應用系統(tǒng)而言，就需要更具針對性的分詞方式。這種基于文檔類別的中文分詞系統(tǒng)模型，分為輸入層、分類層、分詞層、數據層；數據層的詞典有四種：分別是基礎信息詞典、核心詞典、專業(yè)詞典和臨時詞典。由于專業(yè)詞典具有針對性，占用空間小，靈活性高，易更新，使得未登錄詞能及時得到補充。該系統(tǒng)能夠對攜帶分