面向人機(jī)交互的姿態(tài)信息與語(yǔ)音信息關(guān)系研究.pdf

1、人機(jī)交互是計(jì)算機(jī)科學(xué)的一個(gè)相當(dāng)重要的研究領(lǐng)域。語(yǔ)音合成、語(yǔ)音識(shí)別、面部表情識(shí)別、姿勢(shì)識(shí)別以及姿勢(shì)合成等研究都是這一領(lǐng)域的重要組成部分，并且都取得了很好的進(jìn)展。但是這些研究都是在單一交互通道上進(jìn)行的。而現(xiàn)實(shí)中人與人在交際過(guò)程并不是僅僅通過(guò)一種途徑來(lái)表達(dá)和傳遞信息，而是多種途徑共同表達(dá)。所以想要使計(jì)算機(jī)能夠和人進(jìn)行自然的交流，就必須理解人的這多種途徑表達(dá)信息之間的相互關(guān)系。本文的研究目的就是以解釋多種途徑表達(dá)信息之間的關(guān)系為出發(fā)點(diǎn)，研究交際

2、過(guò)程中的姿態(tài)表達(dá)和言語(yǔ)特征的關(guān)系，具體來(lái)說(shuō)就是研究姿態(tài)表達(dá)和語(yǔ)音表達(dá)的關(guān)系。 本文以4段電視訪談節(jié)目的視頻和音頻為原始數(shù)據(jù)，在本文提出的多模態(tài)標(biāo)注系統(tǒng)的基礎(chǔ)上對(duì)視頻信息進(jìn)行了姿態(tài)標(biāo)注，并對(duì)語(yǔ)音信息進(jìn)行了韻律標(biāo)注。然后對(duì)音頻和視頻的標(biāo)注信息進(jìn)行提取，用統(tǒng)計(jì)學(xué)的方法對(duì)數(shù)據(jù)進(jìn)行了分析。研究結(jié)論支持語(yǔ)音與姿態(tài)表達(dá)之間的關(guān)聯(lián)理論。本文的結(jié)構(gòu)分成3個(gè)部分：首先提出了多模態(tài)標(biāo)注系統(tǒng)，然后通過(guò)一個(gè)感知實(shí)驗(yàn)來(lái)觀察姿態(tài)與語(yǔ)音信息在語(yǔ)言理解中的關(guān)系，