漢語虛詞用法標(biāo)注一致性檢測研究.pdf

1、語言是信息傳遞的載體，語言文字處理技術(shù)的發(fā)展對信息化建設(shè)起著至關(guān)重要的作用。自然語言的不斷發(fā)展研究表明高質(zhì)量、大規(guī)模、基于真實文本的語料庫建設(shè)對語言信息的處理發(fā)揮著重要作用。語料庫是支持信息處理高級應(yīng)用的基礎(chǔ)，因此，保證語料庫建設(shè)的高質(zhì)量是自然語言處理研究領(lǐng)域的重中之重。隨著語料庫加工程度的不斷深入，語料庫建設(shè)的一致性成為語料庫建設(shè)的七條基本原則之一。虛詞是現(xiàn)代漢語中不可或缺的一部分，對于現(xiàn)代漢語的語義理解起著重要的作用。虛詞語料庫的建

2、設(shè)是現(xiàn)代漢語知識庫建設(shè)的一個重要方面。保證虛詞語料庫建設(shè)的一致性對現(xiàn)代漢語的發(fā)展有著重要的意義。
　　 在現(xiàn)代漢語虛詞知識庫中，虛詞用法標(biāo)注的一致性對語料庫的建設(shè)起著質(zhì)量把關(guān)的作用。虛詞用法標(biāo)注的一致性指的是在相同或相似的上下文環(huán)境中，同一個的虛詞有著相同的用法。
　　 本文在研究虛詞用法標(biāo)注的一致性問題中，采用不同的方法進行虛詞用法一致性檢測。首先，采用提取上下文窗口字符特征的方式對虛詞上下文窗口中的詞性進行提取來模擬

3、其所在的上下文環(huán)境，在語料庫中查找相同字符特征串的虛詞用法語句，將這些語句進行歸類比對來查找其中的不一致。實驗表明在選擇合適的虛詞上下文窗口的條件下，能有效夠識別上下文中用法標(biāo)注不一致的語句。將識別到的用法標(biāo)注不一致的語句進行修改，從而提高虛詞用法標(biāo)注語料庫標(biāo)注的一致性。
　　 其次，采用在自然語言處理中有著良好表現(xiàn)的條件隨機場(CRF)、支持向量機(SVM)、最大熵（ME）三種不同的分類模型。將實驗語料進行特征選取、特征信息計