限定領(lǐng)域內(nèi)漢英口語的統(tǒng)計翻譯方法研究.pdf

1、摘要摘 要機器翻譯是自 然語言處理的重要應(yīng)用領(lǐng)域?？?語翻譯作為機器翻譯的一個新興分支，具有重要的理論意義和實用價值，正受到越來越多的關(guān)注。本文以 基于統(tǒng)計的翻譯萬法為研究主線， 提出和建立了一整套限定領(lǐng)域內(nèi)漢英口語的統(tǒng)計翻譯框架，并就其中的一些關(guān)鍵問題進行了研究，主要成果和創(chuàng)新點包括:I . 建立了限定領(lǐng)域內(nèi)漢英口語統(tǒng)計翻譯的原型系統(tǒng)， 并就統(tǒng)計機器翻譯在漢英口語翻譯中應(yīng)用的可行性和主要不足進行了探討。本文在對統(tǒng)計機器翻譯理論深入分析

2、的基礎(chǔ)上， 將經(jīng)典的基于單詞的統(tǒng)計翻譯方法應(yīng)用到漢英兩種差別較大的語言之間。在旅館預(yù)訂領(lǐng)域，實現(xiàn)了一個漢英口語翻譯的原型系統(tǒng)。然后通過構(gòu)建真實的口語語料庫，對系統(tǒng)性能進行了一系列測試。實驗結(jié)果表明，基于統(tǒng)計的方法具有 一 定的魯棒性和泛化能力，能夠較好地處理口 語中不規(guī)范的語言現(xiàn)象和語音識別錯誤。不過由于其分析單元的粒度較小和缺乏語言學(xué)知識 作引導(dǎo)，因此翻澤 精度還有待提高。z _提出了雙語語塊的基本概念。 本論文在對基于語塊的處理方法

3、進行深入分析的基礎(chǔ) 卜 ，針對漢英口 語的特點和機器翻譯的需要，提出了雙語相關(guān)的語塊描述框架一一雙語語塊，并從結(jié)構(gòu)、句法和語義對整性等多角度對其進行定義。然后，論文深入研究了雙語語塊的識別和語料庫加工等問題，先后提出基于規(guī)則的雙語語塊語料庫加 L 策略和統(tǒng)計與規(guī)則相結(jié)合的雙語語塊自 動識別方法，為建立基于雙語語塊的大規(guī)?？?語語料庫提供了可能。3 .對基于單詞的統(tǒng)計機器翻譯進行改進， 建立基于雙語語塊的曰語統(tǒng)計翻譯系統(tǒng) 本論文針對原有統(tǒng)

4、計機器翻譯的主要不足，將雙語語塊概念引入到統(tǒng)計翻譯方法當(dāng)中，建立了基 于 雙語語塊的漢英門語統(tǒng)計翻譯框架，并將其與叢于單詞的系統(tǒng)進行了比較 實驗表明，由于 雙語語塊概念本身包含語法信息，因此，基 于 雙語語塊的漢英「 : 語翻譯系統(tǒng)不僅有效地擴大分析單兒的V i f e l 而 目 將尖哈的語 聲華知識和統(tǒng)計翻譯方法相融合，從而提高了系統(tǒng)摘要Ab s t r a c tM a c h i n e t r a n s l a t i

5、o n i s t h e i m p o r t a n t p a r t o f n a t u r a l l a n g u a g e p r o c e s s i n g . A s i t sn e w b r a n c h , s p o k e n - l a n g u a g e t r a n s l a t i o n i s o f g r e a t t h e o

6、r e t i c a l a n d p r a c t i c a ls i g n i f i c a n c e . T h e r e f o r e , t h i s t h e s i s p r e s e n t s a n e w C h i n e s e - E n g l i s hs p o k e n - l a n g u a g e t r a n s l a t i o n a p p r

7、 o a c h i n t h e l i m i t e d - d o m a i n b a s e d o n t h es t a t i s t i c a l m a c h i n e t r a n s l a t i o n ( S MT ) . T h e m a i n c o n t r i b u t i o n s a r e s u m m a r i z e d a sf

8、 o l l o ws :1 . A p r e l i m i n a r y t r a n s l a t i o n s y s t e m f r o m C h i n e s e t o E n g l i s h i s b u i l t i n t h el i m i t e d - d o m a i n . A f t e r r e v i e w i n g t h e p r

9、 i n c i p l e o f S M T , t h e t h e s i s p u t s f o r w a r d aC h i n e s e - E n g l i s h t r a n s l a t i o n s y s t e m w h i c h e m p l o y s t h e w o r d - b a s e d s t a t i s t i c a la p

10、 p r o a c h . I t s p e r f o r m a n c e i s t e s t e d o n a l i m i t e d - d o m a i n s p o k e n - l a n g u a g e t a s k :h o t e l r e s e r v a t i o n . T w o b i l i n g u a l c o r p u s a r

11、e a v a i l a b l e f o r t h e t a s k , w h i c h e x h i b i ts o m e t y p i c a l p h e n o m e n a o f s p o n t a n e o u s s p e e c h . T h e e x p e r i m e n t a l a n a l y s i ss h o w s t h a

12、 t S MT i s p r o m i s i n g i n t h e s p o k e n - l a n g u a g e t r a n s l a t i o n . H o w e v e r i t st r a n s l a t i o n q u a l i t y n e e d s t o b e i m p r o v e d .2 . T h e c o n c e p

13、 t i o n o f c o - c h u n k i s d e f i n e d . U p o n t h e a n a l y s i s o f t h e c h u n k - b a s e dp r o c e s s i n g , t h e t h e s i s p r e s e n t s a d e f i n i t i o n o f t h e c o

14、- c h u n k , a c c o r d i n g t o t h ec h a r a c t e r i s t i c s o f b o t h t h e s p o k e n - l a n g u a g e a n d t h e S M T . T h e f e a t u r e s o f t h ec o - c h u n k s a r e a l s o s

15、 u m m a r i z e d . B a s e d o n t h e s e d e f i n i t i o n a n d f e a t u r e s , t w om e t h o d s a r e p r o p o s e d f o r t h e c o - c h u n k i n g . O n e i s a r u l e - b a s e d m e t

16、 h o d t o t h eb i l i n g u a l c o r p u s . A n o t h e r i s t h e a u t o m a t i c a l g o r i t h m , w h i c h u s e s t h e r u l e s i n t h es t a t i s t i c a l m e t h o d . T h e r e f o r e

17、 , i t i s p o s s i b l e t o g e t a c h u n k - a l i g n e dC h i n e s e - E n g l i s h c o r p u s .3 . T h e s t a t i s t i c a l s p o k e n - l a n g u a g e t r a n s l a t i o n s y s t e m i s p u t

18、 f o r w a r d b a s e d o nc o - c h u n k s . A c c o r d i n g t o t h e f e a s i b i l i t y a n d s o m e p r o b l e m s o f t h e w o r d - b a s e dS MT , t h e t h e s i s i n t r o d u c e s c