中文文本自動校對系統(tǒng).pdf

1、隨著計算機和信息技術的發(fā)展，統(tǒng)計自然語言處理技術也得到快速發(fā)展，取得了驕人的成就。電子文本自動校對的需求使得文本自動校對研究應運而生，它是自然語言處理領域重要課題。中文文本自動校對分為自動查錯和自動糾錯兩個步驟，針對這兩方面本文做了以下工作：
　　(1)中文同音詞的局部校對
　　中文文本錯誤類型多種多樣，本文在詳細分析每種類型的特點的基礎上并且結合實際發(fā)現(xiàn)同音詞錯誤占了很大的比例，因此針對同音詞校對做了一些工作。首先運用最簡

2、單的n-gram模型——二元模型；再結合二元模型和上下文語境；通過分析實驗結果分析，在此基礎上本文提出了利用語境同義詞泛化的方法，改善了數(shù)據(jù)稀疏的問題，提高了系統(tǒng)性能。最后用真實測試文本進行測試，召回率達81.2％，準確率73.4%，糾正率88.9%。
　　(2)中文同音詞的長距離校對
　　針對運用局部特征無法自動識別和糾正的錯誤，本文利用了中文固定搭配來校對這類錯誤。首先根據(jù)語料自動獲取搭配，這是長距離校對的基礎資源，校對

3、時提取待校對文本的搭配信息，根據(jù)訓練的搭配資源計算搭配支持度，比較混淆集所有詞的支持度大小判斷原文是否出錯，并給出支持度最大的兩個作為糾錯意見。
　　(3)非詞錯誤校對
　　本文還對非詞錯誤的校對進行了研究。這里只針對長詞錯誤，包括四字詞、五字詞、六字詞，也就是常見的成語類錯誤?！胺窃~”錯誤其實英文文本校對中的概念，本文中的“非詞”是對完整正確的長詞而言的，而不是漢字。針對這個問題的校對，本文采用構造錯詞集的方法，通過詞典和