結(jié)合N-gram模型與句法分析的語法糾錯.pdf

1、電子文本往往包含各種錯誤，糾錯環(huán)節(jié)的工作量較大，人工糾錯的方式已經(jīng)無法解決迅速增長的電子文本。為此利用計算機自動對文本進行糾錯顯得越來越重要。語法糾錯算法(Grammatical Error Correction，GEC)也受到了許多研究者的重視，許多GEC方法應(yīng)運而生。
　　目前的語法糾錯方法主要包括基于規(guī)則的方法、基于N-gram模型的方法和基于句法分析的方法，這些方法存在以下問題:
　　(1)基于規(guī)則的方法需要建立大規(guī)

2、模的規(guī)則庫。在不斷添加硬性規(guī)則的同時，規(guī)則之間會出現(xiàn)互相矛盾的情況，嚴重降低糾錯效率和準確率。試圖用有限的規(guī)則去規(guī)范復(fù)雜的真實語言，顯然是不合理的。
　　(2)基于N-gram的方法無法兼顧長距相依問題和數(shù)據(jù)稀疏問題。N-gram模型只能描述句子中的局部聯(lián)系，當(dāng)句子中的成分間距超過N-gram長度時，該糾錯算法就失去了糾錯能力。另一方面，當(dāng)N-gram長度足夠長時，雖然能解決長距問題，但是會出現(xiàn)數(shù)據(jù)稀疏問題，同樣會使算法失效。

3、r>　　(3)基于句法分析的方法無法有效糾正局部錯誤。在某些靠局部聯(lián)系決定詞語用法的情況下，句法分析會忽略這種聯(lián)系，導(dǎo)致糾錯失敗。
　　本文針對上述問題提出了一種結(jié)合句法分析與N-gram模型的糾錯方法具體工作工作如下:
　　(1)首先使用句法分析，將英語復(fù)句分割成多個分句;然后對每個句子N-gram建模，得出每個分句的概率;最后為分句賦予權(quán)值，所有分句概率求積得到復(fù)句概率。
　　(2)考慮到N的值過大會出現(xiàn)數(shù)據(jù)稀疏以