漢字種子混淆集的構(gòu)建方法研究.pdf

1、漢字種子混淆集技術(shù)的研究一直是中文文本自動校對技術(shù)的一個重要的基礎(chǔ)性課題，也是一個瓶頸問題，它對中文文本自動校對技術(shù)的發(fā)展有巨大的推動作用。本文對漢字種子混淆集領(lǐng)域涉及到的主要技術(shù)進行了比較全面和仔細的研究，包括漢字種子在中文文本中出現(xiàn)的錯誤類型、大數(shù)據(jù)詞典的存儲方式、中文文本分詞算法、混淆集的排序。
　　本文從一個新的角度對漢字混淆集進行了研究，通過錯別字出現(xiàn)的各種類型來人工創(chuàng)建11935個漢字可能的錯別字；以這些漢字為節(jié)點，“

2、可錯成”的關(guān)系為邊，將混淆集構(gòu)造成一個錯別字混淆集圖；在錯別字混淆集圖的基礎(chǔ)上，設(shè)計了自擴展算法來發(fā)現(xiàn)內(nèi)部規(guī)則進行補充和驗證錯別字混淆集；通過外部大數(shù)據(jù)來開源補充混淆集，發(fā)現(xiàn)新的錯別字對，并對每個種子漢字的混淆集進行了排序，最終構(gòu)建一個種子漢字混淆集字典。根據(jù)實驗，經(jīng)過隨機抽樣校對，準確率達到87.35％。
　　本文的主要貢獻如下：
　　首先，對中文文本中出現(xiàn)的錯別字形式進行了廣泛而深入的研究，通過對大批量的文本進行發(fā)現(xiàn)，整

3、理出中文文本錯別字出現(xiàn)的錯誤類型，包括音似、形似、相鄰鍵位擊鍵錯誤、拼音相同詞組誤選等文本的錯誤形式，并對其進行分析，并提出解決的方法。
　　其次，對漢字種子的錯別字混淆集從一個嶄新的角度對其進行自動添加，提出了錯別字混淆集圖的概念，并通過對錯別字圖的研究，發(fā)現(xiàn)規(guī)則對其補充。
　　再次，進一步通過大數(shù)據(jù)對混淆集進行自動補充，最終形成一部種子漢字混淆集字典。
　　最后，通過錯別字的字頻和形相似度對錯別字混淆集進行排序，對