中文文本自動校對系統(tǒng)設(shè)計與實現(xiàn).pdf

1、互聯(lián)網(wǎng)數(shù)據(jù)快速增長給人們生活帶來了豐富的信息，但同時也造成了互聯(lián)網(wǎng)信息質(zhì)量的下降。新聞出版及廣播電視等行業(yè)對文本質(zhì)量有較高的要求，而這些行業(yè)的審校工作目前仍以人工審校為主。以中文文本為例，在中文詞語、漢語拼音、數(shù)字號碼、標點符號等方面均存在或多或少的問題。隨著因特網(wǎng)上中文文本的快速增長，相關(guān)錯誤在不斷累積，這極大降低了文本的利用價值，同時加重了人工審校的負擔。此外，中文載體的多樣性也使得人工審校愈發(fā)力不從心。然而現(xiàn)有的很多文本審校軟件都

2、很難處理不同形式、不同格式、不同載體的審校問題，因此，針對中文文本研發(fā)自動審校的方法與系統(tǒng)具有重要的實際意義。
　　基于以上背景，本文針對中文文本常見的錯誤構(gòu)建了一個自動校對系統(tǒng)，并從以下幾個方面展開了工作:
　　1.對中文文本自動校對系統(tǒng)進行系統(tǒng)需求分析，詳細分析系統(tǒng)的用戶需求，業(yè)務(wù)需求以及功能需求。并采用MVC框架對審校系統(tǒng)進行設(shè)計，具體分析并設(shè)計了每一層所包含的功能，同時分析和設(shè)計了審校服務(wù)的具體功能，具體包括詞語審校

3、、標點符號審校、數(shù)字審校和拼音審校。
　　2.深入研究了詞語審校、標點符號審校、數(shù)字審校以及拼音審校的實現(xiàn)方法，采用條件隨機場(Conditional Random Fields，CRF)結(jié)合分詞的技術(shù)識別文本中的實體，并采用實體鏈接的技術(shù)來實現(xiàn)詞語審校中的實體名稱審校，而詞語審校中的常用詞語審校和敏感詞審校則采用構(gòu)建字典樹的方式來實現(xiàn);針對標點符號和數(shù)字審校主要采用的是構(gòu)建規(guī)則庫來實現(xiàn);對于拼音審校，本文先利用拼音獲取工具包獲取

4、帶有標注拼音詞語的正確拼音，然后再與原文中的標注拼音進行比較，若二者不同則對原文中的標注拼音進行校對。
　　3.實現(xiàn)B/S模式的中文文本自動校對系統(tǒng)。本文采用的Spring MVC框架來實現(xiàn)該系統(tǒng)的Web框架，包括Spring MVC框架的配置，前臺JSP的編寫以及控制器程序的編寫等。
　　本文所構(gòu)建的中文文本自動校對系統(tǒng)可以校對出詞語、標點符號、數(shù)字和拼音等中文文本中常見的錯誤。而且本文所構(gòu)建的系統(tǒng)支持在線和離線兩種校對模