MMOG中基于強(qiáng)化學(xué)習(xí)的多NPC協(xié)作的研究.pdf

1、目前，在MMOG(Massively Multiplayer Online Games)中應(yīng)用的人工智能技術(shù)比較簡(jiǎn)單，強(qiáng)化學(xué)習(xí)算法可以實(shí)現(xiàn)更加復(fù)雜的游戲智能。由于MMOG具有實(shí)時(shí)性的特點(diǎn)，強(qiáng)化學(xué)習(xí)算法不能被很好的應(yīng)用。因此研究適合MMOG的強(qiáng)化學(xué)習(xí)方法具有重要意義。
　　本文在深入研究強(qiáng)化學(xué)習(xí)相關(guān)技術(shù)的基礎(chǔ)上，針對(duì)MMOG中的動(dòng)作型和策略型人工智能技術(shù)分別進(jìn)行了研究。本文主要完成了以下兩方面的工作：
　　1.針對(duì)MMOG中的

2、動(dòng)作型人工智能技術(shù)，提出啟發(fā)式加速評(píng)估Q學(xué)習(xí)算法(the Heuristically Accelerated Evaluated Q-Learning，HAE-QL)。
　　該方法引入啟發(fā)式和評(píng)估來(lái)加速標(biāo)準(zhǔn)Q學(xué)習(xí)算法。通過(guò)使用一個(gè)啟發(fā)函數(shù)在學(xué)習(xí)過(guò)程中影響行動(dòng)的選擇，使用一個(gè)評(píng)估函數(shù)來(lái)評(píng)估所選擇的動(dòng)作，以減少不必要的探索，提高學(xué)習(xí)效率。為了保證該算法的有效性，啟發(fā)函數(shù)和評(píng)估函數(shù)是根據(jù)Q函數(shù)來(lái)計(jì)算。同時(shí)，提出基于HAE-QL的卡爾曼濾

3、波DR預(yù)測(cè)算法(the HAE-QL Kalman Filter DeadReckoning，HQ-KDR)，這樣既可以保證NPC(Non Player Character)在通信延遲的情況下正確學(xué)習(xí)，又能保證學(xué)習(xí)的有效性。
　　2.針對(duì)MMOG中的策略型人工智能技術(shù)，提出MMRL(MMOG ReinforcementLearning)算法。
　　算法中NPC選擇的策略是基于對(duì)其他NPC選擇的策略的信任基礎(chǔ)上，不同于現(xiàn)有的大