強(qiáng)化學(xué)習(xí)及其在協(xié)同虛擬環(huán)境導(dǎo)航知識(shí)中的應(yīng)用研究.pdf

1、協(xié)同虛擬環(huán)境（CVE）是虛擬現(xiàn)實(shí)技術(shù)與網(wǎng)絡(luò)技術(shù)相結(jié)合的產(chǎn)物，將分布在不同地理位置的獨(dú)立的虛擬現(xiàn)實(shí)系統(tǒng)通過網(wǎng)絡(luò)連接起來，使多個(gè)Agent在一個(gè)共享的三維環(huán)境中進(jìn)行交互，協(xié)作完成任務(wù)。目前，CVE系統(tǒng)已經(jīng)在科學(xué)可視化、協(xié)同設(shè)計(jì)、戰(zhàn)爭模擬等多個(gè)領(lǐng)域得到廣泛的應(yīng)用。在虛擬環(huán)境中，特別是大范圍復(fù)雜的虛擬環(huán)境中智能體很容易迷路，對(duì)智能體來講，能調(diào)整自己的方向?qū)崿F(xiàn)導(dǎo)航的目標(biāo)更是不容易。在人工智能領(lǐng)域，長期以來一個(gè)重要的目標(biāo)是如何設(shè)計(jì)一個(gè)Agent使它

2、能夠在復(fù)雜環(huán)境中自主地完成任務(wù)，這與協(xié)同虛擬環(huán)境中智能體的自助導(dǎo)航控制問題極為相似。強(qiáng)化學(xué)習(xí)理論作為智能學(xué)習(xí)的一個(gè)重要分支，是從控制論、統(tǒng)計(jì)學(xué)、心理學(xué)和認(rèn)知學(xué)等相關(guān)學(xué)科發(fā)展而來的，有著相當(dāng)長的歷史，在智能學(xué)習(xí)中得到廣泛研究。 本文對(duì)協(xié)同虛擬環(huán)境及其導(dǎo)航進(jìn)行了深入研究和探討，根據(jù)CVE協(xié)同導(dǎo)航所具有的自身特點(diǎn)，并在單用戶導(dǎo)航模型的基礎(chǔ)上，建立和完善了協(xié)同導(dǎo)航模型的框架。同時(shí)作者在分析了智能體導(dǎo)航控制的基礎(chǔ)上，根據(jù)CVE協(xié)同導(dǎo)航模型

3、與強(qiáng)化學(xué)習(xí)理論模型的相似性，將強(qiáng)化學(xué)習(xí)應(yīng)用到協(xié)同虛擬環(huán)境中智能體導(dǎo)航控制上，并重點(diǎn)研究了基于Q—學(xué)習(xí)的導(dǎo)航知識(shí)獲取算法。為了改善該算法在協(xié)同導(dǎo)航控制中的應(yīng)用效果，本文提出一種基于最優(yōu)路徑的Q—學(xué)習(xí)算法，將虛擬環(huán)境中移動(dòng)的智能體與目標(biāo)之間的絕對(duì)距離量化成強(qiáng)化學(xué)習(xí)中的狀態(tài)函數(shù)，并通過前后狀態(tài)的比較，使得每次狀態(tài)/動(dòng)作對(duì)的選擇都能達(dá)到靠近目標(biāo)位置的目的，另外，將多個(gè)智能體的學(xué)習(xí)成果進(jìn)行共享，加強(qiáng)各個(gè)智能體對(duì)環(huán)境信息的感知，使其能更快學(xué)習(xí)到正確