基于統(tǒng)計的漢語意見文本校對系統(tǒng)設(shè)計與實現(xiàn).pdf

1、隨著近年來Web2.0技術(shù)和社交媒體的快速發(fā)展，網(wǎng)絡(luò)中出現(xiàn)大量的產(chǎn)品意見文本。同正規(guī)的新聞文本相比，產(chǎn)品意見文本書寫自由，存在大量的錯別字、標點誤用和諧音等病態(tài)輸入現(xiàn)象，由于這些不規(guī)范的語言行為的存在，嚴重影響了后續(xù)的意見挖掘工作的效果。如何去掉這些非正規(guī)描述或噪聲信息已成為產(chǎn)品意見文本分析亟待解決的一個重要課題。
　　本文在深入分析漢語產(chǎn)品意見文本特點的基礎(chǔ)上，在統(tǒng)計方法框架下，從標點符號和錯別字校對兩個方面探索漢語意見文本校對

2、問題，以提高意見文本的可讀性和規(guī)范性，進而為后續(xù)的意見挖掘打下良好的基礎(chǔ)。具體地，本文的主要工作包括以下兩個方面:
　　(1)針對產(chǎn)品意見文本中存在的標點錯誤，本文在融合多級別語言特征進行CRF序列標注的基礎(chǔ)之上，融合原文標點信息，設(shè)計并實現(xiàn)一個基于標點位置預(yù)測的三階段的漢語標點校對系統(tǒng)。實驗結(jié)果表明，引入原文標點信息有利于標點糾錯性能的提高。
　　(2)針對產(chǎn)品意見文本中存在的錯別字，本文深入分析了錯別字與其正確形式之間的