現(xiàn)代漢語連詞用法的自動識別及應用研究.pdf

1、連詞是虛詞的一種,在現(xiàn)代漢語中,它承擔著極為繁重的語法表現(xiàn)任務,對于漢語的語法分析和語義理解有著至關重要的作用。相同的連詞在不同的上下文語境中可能表示不同的含義,具有不同的用法。因此,必須對文本中連詞的用法進行全面細致的考察研究,人工總結或者機器學習其中的規(guī)律并進行形式化描述,從而實現(xiàn)連詞用法的一定程度的自動識別,這將有助于中文文本的機器辨析和自動理解。
　　 現(xiàn)代漢語連詞用法自動識別是面向自然語言處理的現(xiàn)代漢語虛詞知識庫研究的

2、重要內容之一。本文根據(jù)俞士汶等提出的構建“三位一體”的現(xiàn)代漢語虛詞知識庫的思想,完善了包括現(xiàn)代漢語連詞用法詞典、連詞用法規(guī)則庫和連詞用法語料庫在內的現(xiàn)代漢語連詞用法知識庫。在連詞用法知識庫的基礎上,分別研究了基于規(guī)則和基于統(tǒng)計的現(xiàn)代漢語連詞用法自動識別。基于規(guī)則的方法簡單易懂,但是不能通過機器學習的方法自動地獲得知識。基于統(tǒng)計的方法可以從訓練數(shù)據(jù)中自動地或半自動地獲取語言知識,但是對于單用法或用法分布稀疏的連詞的用法識別效果不好。根據(jù)規(guī)

3、則方法和統(tǒng)計方法的優(yōu)缺點,本文結合用法分布率、規(guī)則準確率和統(tǒng)計準確率初步嘗試了五種規(guī)則與統(tǒng)計相結合的方法進行連詞用法自動識別。實驗結果表明,這些規(guī)則與統(tǒng)計相結合的方法的識別效果要高于單一方法的識別效果。
　　 在連詞用法自動識別的基礎上,本文研究了連詞用法的一個應用:連詞結構短語識別,期望能為機器翻譯提供更好的預處理知識,從而提高機器翻譯的質量。首先人工標注出已標注過用法的語料中的連詞結構短語,并總結出規(guī)律,構建連詞結構短語識別