無指導學習下基于修正詞頻庫的分詞方法研究.pdf

1、漢語自動分詞是中文信息處理中的一項基礎性課題，同時也是智能化中文信息處理的關鍵所在。與此同時，隨著WWW的蓬勃興起以及電子出版物的大行其道，對漢語自動分詞研究又提出了一系列新的課題。如何增強分詞系統(tǒng)在開放環(huán)境下的適應性和健壯性，則成為主要的研究目標。無指導學習下基于修正詞頻庫的分詞方法研究，正是針對這一問題而提出的。 本文主要研究內容及取得成果包括如下幾個方面： ①通過引入修正詞頻庫，提出了一種詞頻參數(shù)無指導自動學習機制

2、，突破了傳統(tǒng)基于詞典或訓練語料的詞頻參數(shù)獲取的束縛，增強系統(tǒng)在開放環(huán)境下處理真實文本的能力，實現(xiàn)了對知識靜態(tài)的重組和動態(tài)的學習，使系統(tǒng)實現(xiàn)自適應地最優(yōu)化。并給出了一種新的分詞系統(tǒng)模型框架。 ②采用基于修正詞頻庫的學習機制，并引入訓練語料和待切分文本的詞頻信息，提出了一種基于上下文的n-最大概率切分方法。該方法采用了統(tǒng)計模型，克服了傳統(tǒng)詞典和訓練語料的局限性，增強了系統(tǒng)處理真實文本的能力；同時能更有效地得到數(shù)量較少、召回率較高的候

3、選切分結果集。 ③針對未登錄詞識別問題，在傳統(tǒng)的互信息統(tǒng)計量和t-測試差統(tǒng)計量的基礎上，將二者通過線性與非線性組合，提出了一個新統(tǒng)計量(組合統(tǒng)計量)，并給出了一種子圖提取技術。實驗表明，統(tǒng)計量與子圖提取技術有利于未登錄詞的有效識別。進而結合 統(tǒng)計量及子圖提取技術，提出了一種未登錄詞識別方法。 ④將未登錄詞識別方法與基于上下文的n-最大概率切分方法結合，提出了一種新的分詞算法。并且基于國內普遍采用的語料庫（人民日報98年1