基于轉(zhuǎn)換學(xué)習(xí)的詞性標(biāo)注研究.pdf

1、隨著社會信息化的日益增強(qiáng)，互聯(lián)網(wǎng)越來越成為人們?nèi)粘Ｉ钪械囊?部分，人們越來越強(qiáng)烈地渴望用自然語言同計算機(jī)進(jìn)行交流。但這有個前提就是計算機(jī)能夠理解人類的自然語言，這是一個很富有挑戰(zhàn)性的問題。這樣的問題稱作自然語言處理問題，而詞性標(biāo)注作為這一領(lǐng)域淺層處理中最基礎(chǔ)最重要的技術(shù)對整個語言處理起著至關(guān)重要的作用。詞性標(biāo)注應(yīng)用的領(lǐng)域十分廣泛，包括語法分析、語音識別、文本分類、文本語音轉(zhuǎn)換、信息檢索、機(jī)器翻譯等諸多領(lǐng)域。同時，隨著機(jī)器學(xué)習(xí)算法的飛速

2、發(fā)展，各種機(jī)器學(xué)習(xí)方法先后被應(yīng)用到詞性標(biāo)注領(lǐng)域，有HMM算法、最大熵算法、決策樹算法、基于規(guī)則的算法等。而TBL就是一種基于規(guī)則的算法。雖然TBL算法從1995年出現(xiàn)到現(xiàn)在，已經(jīng)有不少學(xué)者對它進(jìn)行了一定的改進(jìn)，已經(jīng)比較成熟，但由于此算法在工作時需要占用大量的資源和性能進(jìn)行規(guī)則的提取和評估，從而造成了算法自身訓(xùn)練時間偏慢的特點(diǎn)。
　　 本文采用前人的研究思想，在原有算法的基礎(chǔ)上通過跳過那些評估分?jǐn)?shù)很低，并且不能對語料庫的標(biāo)注起到顯