面向漢語(yǔ)普通話文語(yǔ)轉(zhuǎn)換系統(tǒng)的中文文本智能化處理研究.pdf

1、近年來(lái)，漢語(yǔ)普通話文語(yǔ)轉(zhuǎn)換系統(tǒng)的研究取得了長(zhǎng)足的進(jìn)展，但是還有許多理論和應(yīng)用問(wèn)題有待解決，計(jì)算機(jī)的合成語(yǔ)音在自然度上與人類的自然語(yǔ)音存在一定的距離。為此，不僅要研究如何利用漢語(yǔ)普通話語(yǔ)音數(shù)據(jù)庫(kù)拼接出高自然度的語(yǔ)音，而且還要從語(yǔ)言學(xué)方面研究中文文本，為后續(xù)的語(yǔ)音處理提供韻律信息和指導(dǎo)。本文的主要工作是面向文語(yǔ)轉(zhuǎn)換系統(tǒng)的中文文本智能化處理研究。本文首先研究了自動(dòng)分詞所涉及的各方面技術(shù)，建立了分詞詞典和語(yǔ)料庫(kù)，采用了增字最大匹配算

2、法進(jìn)行切分，制定了處理歧義字段用的知識(shí)庫(kù)，提出并建立了“多音字語(yǔ)料庫(kù)”用于解決多音字問(wèn)題，最后利用姓名本身和出現(xiàn)環(huán)境的特點(diǎn)，提出了基于規(guī)則和統(tǒng)計(jì)相結(jié)合的漢語(yǔ)姓名識(shí)別算法，達(dá)到了理想的效果，總的精度達(dá)到了99％。在成功地實(shí)現(xiàn)自動(dòng)分詞后，分析了漢語(yǔ)的詞語(yǔ)兼類現(xiàn)象和隱馬爾可夫模型理論，認(rèn)為隱馬爾可夫模型在詞性自動(dòng)標(biāo)注上有著非常重要的應(yīng)用價(jià)值，并成功地把它引入到自動(dòng)詞性標(biāo)注上。為了校正應(yīng)用隱馬爾可夫模型產(chǎn)生的少量明顯錯(cuò)誤和無(wú)法保證

3、正確標(biāo)記的語(yǔ)料，提出了一個(gè)規(guī)則集，用于糾錯(cuò)。開放和封閉測(cè)試表明該方法取得了相當(dāng)好的結(jié)果。在韻律詞處理方面，提出了一種單字驅(qū)動(dòng)的規(guī)則方法，即利用一些規(guī)則依據(jù)單字的詞性對(duì)單字進(jìn)行向前或向后的歸并，從而減少合成語(yǔ)音中的單音節(jié)詞。在韻律詞內(nèi)部加較小的停頓，在韻律詞間的停頓可以適當(dāng)加長(zhǎng)，使合成語(yǔ)音體現(xiàn)出一定的韻律感。為了進(jìn)行韻律短語(yǔ)的切分，提出了一個(gè)統(tǒng)計(jì)和規(guī)則相結(jié)合的方法。使用統(tǒng)計(jì)方法從已經(jīng)經(jīng)過(guò)人工標(biāo)注的漢語(yǔ)語(yǔ)料庫(kù)中得到的韻律短語(yǔ)切

4、分點(diǎn)的邊界模式以及概率信息，對(duì)中文文本中的韻律短語(yǔ)切分點(diǎn)進(jìn)行自動(dòng)預(yù)測(cè)。對(duì)于統(tǒng)計(jì)方法預(yù)測(cè)出的長(zhǎng)度較短的候選組塊，再利用規(guī)則及組塊的類型信息歸并為韻律短語(yǔ)。最后，在系統(tǒng)的實(shí)現(xiàn)過(guò)程中，發(fā)現(xiàn)語(yǔ)素這種詞性具有不確定性，導(dǎo)致韻律短語(yǔ)切分點(diǎn)預(yù)測(cè)的不合理，不利于韻律短語(yǔ)的統(tǒng)計(jì)和韻律短語(yǔ)邊界的預(yù)測(cè)。為此，修改了分詞詞典中有語(yǔ)素這個(gè)詞性出現(xiàn)的1字詞的詞性，使每一個(gè)詞都有了一個(gè)明確的詞性，再進(jìn)行自動(dòng)分詞和自動(dòng)詞性標(biāo)注，從而提高了韻律短語(yǔ)的切分準(zhǔn)確