面向中文維基百科模糊限制信息檢測的語料庫建設與研究.pdf

1、模糊限制語是重要的語言現象，用于表示推測或不確定性的含義。由模糊限制語引導的信息為模糊限制信息。模糊限制信息檢測是信息抽取的首要步驟，旨在將模糊限制信息與事實信息區(qū)分開來，避免將模糊限制信息當作事實信息進行抽取。模糊限制信息語料庫是模糊限制信息檢測研究的重要資源。目前，已有多個公開發(fā)表的英文模糊限制信息語料庫，有效地推動了英文模糊限制信息檢測研究的發(fā)展。然而尚未發(fā)現公開發(fā)表的中文模糊限制信息語料庫。本文利用中文維基百科(Wikipedi

2、a)的大規(guī)模真實文本資源，構建了用于中文模糊限制信息檢測研究的語料庫。
　　本文首先進行語料庫設計，然后按照設計要求構建語料庫，并對語料庫進行統(tǒng)計分析。語料庫設計根據中文維基百科文本的特點并參考同類英文語料庫開展，規(guī)劃了語料庫的平衡結構和建設規(guī)模，對語料庫的采樣原則、邏輯結構等進行了具體設計。其中采樣原則上，利用中文維基百科文本的5種模棱兩可語意模板標記采樣，以段落為取樣單位，確保有足夠具代表性的含模糊限制語的句子采集入庫。邏輯結

3、構上，以XML格式對語料庫進行組織，并定義了各類XML元素以及元素的屬性。
　　為減少標注的工作量，以基于詞典的最大匹配法對語料庫模糊限制語進行了初始標注:首先進行了中文維基百科語料采集，并通過從模糊限制語相關文獻提取關鍵詞、利用同義詞詞典查找等方法構建了模糊限制語關鍵詞詞典，然后根據中文模糊限制語的特點，利用逆向最大匹配法進行自動標注。還通過分析標注錯誤的產生原因，提出了基于分詞的逆向最大匹配法，有效避免逆向最大匹配法標注時出現

4、的組合型歧義錯誤。
　　為完成語料標注，本文對模糊限制語自動標注進行人工校正，并對模糊限制信息范圍進行人工標注。本文提出了具體的標注原則。在標注模糊限制語時，遵循“最小原則”，即對能表示模糊限制性的最小單元進行標注;在標注模糊限制信息范圍時，遵循“最大原則”，即標注到最大可能的句法單元。語料庫的統(tǒng)計結果顯示，與逆向最大匹配法相比，基于分詞的逆向最大匹配法有效提高了標注精確率，語料庫基本達到了平衡結構的設計目標。
　　本文的研