漢語(yǔ)口語(yǔ)對(duì)話系統(tǒng)的語(yǔ)言分析.pdf

1、自然語(yǔ)言處理已歷時(shí)幾十年了，熱潮莫過(guò)于機(jī)器翻譯。機(jī)器翻譯的熱潮過(guò)去后，語(yǔ)言處理逐漸進(jìn)入平靜、現(xiàn)實(shí)的務(wù)實(shí)階段。近期人們將目標(biāo)定在文本的自動(dòng)分摘要、信息的自動(dòng)檢索和過(guò)濾以及限定領(lǐng)域的人機(jī)對(duì)話系統(tǒng)等方面。本文介紹口語(yǔ)人機(jī)對(duì)話系統(tǒng)語(yǔ)言分析的研究。 語(yǔ)言處理中，實(shí)用性很強(qiáng)、高效的是統(tǒng)計(jì)方法。但基于規(guī)則的方法可以細(xì)致刻言?xún)?nèi)在結(jié)構(gòu)的各個(gè)方面，如果能綜合運(yùn)用情景、上下文和常識(shí)獲取語(yǔ)義特征，定領(lǐng)域的情況下，分析的準(zhǔn)確率將會(huì)顯著提高。 本文

2、根據(jù)漢語(yǔ)口語(yǔ)缺省多、插入語(yǔ)多、短句多和語(yǔ)序靈活等語(yǔ)言特點(diǎn)，設(shè)計(jì)了以規(guī)則為主、結(jié)合概率信息的語(yǔ)言綜合分析方法。在漢語(yǔ)分詞和詞性標(biāo)注的基基于合一文法利用圖算法進(jìn)行部分句法分析，最后結(jié)合上下文、情景、常識(shí)率信息獲取語(yǔ)義特征。該方法有效提高了漢語(yǔ)口語(yǔ)對(duì)話系統(tǒng)語(yǔ)言分析的準(zhǔn)確同時(shí)考慮了效率和領(lǐng)域切換等實(shí)用方面的問(wèn)題。并實(shí)現(xiàn)了上海市交通信息查詢(xún)——SHJTQ，同時(shí)完成了相關(guān)的測(cè)試評(píng)價(jià)工作，從而確保了系統(tǒng)的正確性、有。 詞切分和詞性標(biāo)注方面，本

3、文通過(guò)建立索引和采用合適的Hash算法，改進(jìn)了詞組織形式，極大提高了分詞和詞性標(biāo)注的效率。從而減少系統(tǒng)實(shí)時(shí)響應(yīng)時(shí)間。句法分析方面，本文根據(jù)漢語(yǔ)口語(yǔ)特點(diǎn)進(jìn)行了如下改進(jìn)和嘗試：(1)、采用部分分析而不是常規(guī)的完全句法分析，從而有效分析含有插入語(yǔ)、缺省、語(yǔ)序變化、多個(gè)短句等不規(guī)正語(yǔ)句；(2)、采用基于合一文法的語(yǔ)法體系，通過(guò)特征校驗(yàn)限制句法規(guī)則歸約，減少句法分析的歧義；通過(guò)特征傳遞獲取短語(yǔ)的語(yǔ)義語(yǔ)法信息，以便進(jìn)一步獲取整句的語(yǔ)義特征；(3)、

4、實(shí)現(xiàn)了特征和句法規(guī)則的預(yù)編譯，使得句法知識(shí)庫(kù)具有良好的開(kāi)放性，減少了領(lǐng)域切換時(shí)所需工作量。 語(yǔ)義分析的難點(diǎn)在于如何處理缺省、指代、否定等復(fù)雜語(yǔ)言現(xiàn)象。本文從所限定的領(lǐng)域特點(diǎn)出發(fā)，嘗試給出一些實(shí)用的處理方法：(1)、采用合一算法根據(jù)上下文、情景求解缺省；(2)、采用史列表方法結(jié)合語(yǔ)法語(yǔ)義限制規(guī)則求解指代；(3)、將否定分為句間否定和句中否定，根據(jù)“否定候選集—對(duì)比刪除”流程確定否定詞的具體轄域。這些方法充分利用了上下文、情景和常識(shí)