基于分布式系統(tǒng)的N元文法模型研究.pdf

1、隨著自然語言處理技術(shù)的發(fā)展和大規(guī)模語料庫的出現(xiàn)，語言模型的大規(guī)模訓(xùn)練成為現(xiàn)實(shí)。本文所研究N元文法模型是信息檢索、機(jī)器翻譯、語言識別等很多自然語言處理的重要工具。使用N元高階模型和大規(guī)模訓(xùn)練語料可以顯著的提升系統(tǒng)性能，因此大規(guī)模語言建模的研究備受關(guān)注。然而，個(gè)人計(jì)算機(jī)的資源是有限的，無法進(jìn)行大規(guī)模語言建模，所以需要利用分布式系統(tǒng)來進(jìn)行建模。
　　本文主要工作是利用開源的Hadoop MapReduce編程框架和分布式數(shù)據(jù)庫Hbase

2、對N元文法模型進(jìn)行研究評測。其中提出的方法主要以時(shí)間成本和空間成本為依據(jù)，來評估不同的Hbase表結(jié)構(gòu)和壓縮方法的好壞。該方法主要適用于Hadoop的Mapreduce框架和Hbase下進(jìn)行訓(xùn)練和測試。實(shí)驗(yàn)對一元，二元和三元文法語言模型進(jìn)行了4千萬詞量的訓(xùn)練，然后建立了5種不同的數(shù)據(jù)庫表結(jié)構(gòu)對實(shí)驗(yàn)結(jié)果進(jìn)行了比較和評價(jià)，結(jié)果顯示基于n/2元詞組結(jié)構(gòu)的表比較適合分布式語言模型。本文的結(jié)果和方法可以用于進(jìn)一步研究機(jī)器翻譯和其它大規(guī)模分布式語言