基于VQ和ASR的多媒體課件檢索.pdf

1、在E-learning教學(xué)環(huán)境中，多媒體課件是使用最為廣泛的教學(xué)內(nèi)容載體。而針對(duì)多媒體課件的檢索服務(wù)可以使學(xué)生方便地選擇他們所感興趣的部分從而提高了教學(xué)效率?；谡Z(yǔ)音的內(nèi)容檢索是常用的多媒體文件檢索，依靠相對(duì)較為成熟的語(yǔ)音識(shí)別技術(shù)這一檢索技術(shù)在基于內(nèi)容的多媒體文件檢索領(lǐng)域具有很高的應(yīng)用與研究?jī)r(jià)值。本文將針對(duì)E-learning應(yīng)用環(huán)境，研究基于語(yǔ)音識(shí)別的多媒體資料檢索方法。由于多媒體課件來(lái)自于各個(gè)專(zhuān)業(yè)，涵蓋的內(nèi)容較廣且包含一些專(zhuān)業(yè)術(shù)語(yǔ)，

2、在對(duì)其進(jìn)行檢索的過(guò)程中很難建立一個(gè)較完善的語(yǔ)言模型。因此本文提出的方法直接在聲學(xué)模型級(jí)別完成搜索和匹配以避免詞匯量不夠(OOV)的情況。此外，由于課件均在實(shí)際教室中錄制，其語(yǔ)音質(zhì)量往往不高，本文提出的方法還將具備一定的容錯(cuò)能力。本論文的主要工作包括：1、研究并設(shè)計(jì)向量量化技術(shù)(VQ)對(duì)隱馬爾可夫模型(HMM)的狀態(tài)進(jìn)行聚類(lèi)并生成相應(yīng)的碼表，以用于對(duì)語(yǔ)音文件進(jìn)行預(yù)處理的階段。這一步驟主要將耗時(shí)較多的語(yǔ)音信號(hào)特征的提取與比較在離線(xiàn)狀態(tài)下完成

3、，并將語(yǔ)音信號(hào)匹配轉(zhuǎn)換成狀態(tài)序列的符號(hào)匹配，以便在實(shí)時(shí)處理檢索請(qǐng)求時(shí)系統(tǒng)具有較快的反應(yīng)速度。2、多級(jí)檢索算法將利用路徑搜索算法進(jìn)行關(guān)鍵詞檢出(keyword spotting)作為初級(jí)檢索，給出一組粗略的候選結(jié)果。利用自動(dòng)語(yǔ)音識(shí)別技術(shù)(ASR)作為次級(jí)檢索對(duì)候選結(jié)果進(jìn)行篩選，驗(yàn)證等處理，最終找出與關(guān)鍵詞相匹配的項(xiàng)并根據(jù)似然度評(píng)分原則排序輸出。為學(xué)生提供多媒體課件檢索服務(wù)。3、利用上述方法實(shí)現(xiàn)原型系統(tǒng)，并在實(shí)際課件點(diǎn)播環(huán)境中測(cè)試其性能。同