日語詞法分析及在跨語言信息檢索中的應(yīng)用研究.pdf

1、隨著國際上交流與合作的不斷加強(qiáng)，人們對跨語言信息處理的需求越來越多。日本與我國關(guān)系密切，因此對日文信息的獲取和處理是非常有必要的。日文詞法分析是日文信息處理的基礎(chǔ)，在跨語言信息檢索、機(jī)器翻譯、信息抽取等實(shí)際應(yīng)用領(lǐng)域都扮演著重要的角色。
　　本文主要對日文詞法分析、名實(shí)體識(shí)別以及它們在跨語言信息檢索中的應(yīng)用進(jìn)行研究，具體的研究內(nèi)容主要包括以下幾個(gè)方面：
　　1.對日文進(jìn)行分詞和詞性標(biāo)注研究。針對日文分詞中的歧義切分問題，本文采

2、用最大概率分詞法，利用Ipadic詞典對日文文本進(jìn)行粗切分，并用動(dòng)態(tài)規(guī)劃算法尋找最佳分詞路徑。針對日文分詞中的未登錄詞問題，提出基于字的識(shí)別方法。用HMM實(shí)現(xiàn)日文詞性標(biāo)注的訓(xùn)練和標(biāo)注過程，并對稀疏數(shù)據(jù)進(jìn)行平滑。標(biāo)注過程中先對詞串進(jìn)行以單標(biāo)記詞為邊界的劃分，然后用Viterbi算法尋找最佳詞性標(biāo)記序列，降低了處理的復(fù)雜性。在EDR語料上的測試，分詞F值為95.76％，詞性標(biāo)注F值為96.70%。
　　2.對日文名實(shí)體識(shí)別及其后處理技

3、術(shù)的研究。本文采用最大熵模型進(jìn)行日文名實(shí)體識(shí)別研究，采用的主要特征有詞形特征、詞性特征、詞典特征和上下文特征。針對統(tǒng)計(jì)方法對語料依賴性強(qiáng)的問題，本文提出改進(jìn)的基于TBL的日文名實(shí)體識(shí)別后處理方法。該方法能針對名實(shí)體識(shí)別錯(cuò)誤自動(dòng)學(xué)習(xí)，獲取轉(zhuǎn)換規(guī)則，并對規(guī)則進(jìn)行優(yōu)化。實(shí)驗(yàn)證明該方法是一種有效的日文名實(shí)體識(shí)別后處理方法。
　　3.對日英跨語言信息檢索中查詢翻譯方法的研究。考慮到現(xiàn)有資源和系統(tǒng)效率問題，本文采用翻譯查詢的方法實(shí)現(xiàn)日英跨語言