自動詞法學(xué)習(xí)關(guān)鍵技術(shù)研究與實(shí)現(xiàn).pdf

1、詞法學(xué)習(xí)技術(shù)的主要任務(wù)是通過機(jī)器學(xué)習(xí)或是其它的一些計(jì)算方法，從語料中自動獲取某一門語言的詞法規(guī)則。這些詞法規(guī)則主要包括單詞在不同的語境中產(chǎn)生變化的規(guī)律，在自然語言處理系統(tǒng)中有很重要的意義，尤其是在詞法處理中有著重要的運(yùn)用。詞法處理是指自然語言處理系統(tǒng)在進(jìn)行句法分析之前，對句子進(jìn)行的詞匯級的處理，對于英語這類屈折形態(tài)變化的語言，詞法處理主要任務(wù)是對變形單詞進(jìn)行分析，轉(zhuǎn)換成原形單詞和附加的詞形特征屬性。詞法處理是自然語言處理中一個重要內(nèi)容，

2、是進(jìn)行句法分析、語義分析的基礎(chǔ)，在搜索引擎、文本分類、信息抽取、數(shù)字圖書館、機(jī)器翻譯系統(tǒng)等中有廣泛的應(yīng)用。本文主要以英語為例對屈折形態(tài)語言的詞法處理和詞法學(xué)習(xí)進(jìn)行了研究。 本文首先對國內(nèi)外各種詞法學(xué)習(xí)和詞法處理技術(shù)進(jìn)行調(diào)研，通過對各種詞法學(xué)習(xí)技術(shù)的功能進(jìn)行分析，并集成了雙層詞法處理系統(tǒng)和不同的詞法學(xué)習(xí)技術(shù)模塊，提出了一種集成式詞法開發(fā)平臺構(gòu)建的方法，通過這種集成式詞法開發(fā)平臺可以從一個文本中學(xué)習(xí)出雙層詞法規(guī)則，從而方便地從這個平