Q-學(xué)習(xí)在非完備信息機(jī)器博弈中的應(yīng)用.pdf

1、完備信息博弈已經(jīng)有很多比較成功的解決方案。博弈雙方根據(jù)當(dāng)前棋局創(chuàng)建一個(gè)部分的博弈樹，利用估值函數(shù)對(duì)葉結(jié)點(diǎn)進(jìn)行估值，通過估值的結(jié)果來進(jìn)行搜索，找到一個(gè)根結(jié)點(diǎn)的最佳走步。這是很多的人工智能程序的核心架構(gòu)。非完備信息博弈問題的解決技術(shù)和完備信息有很大的差異，應(yīng)用于完備信息的技術(shù)不一定能夠成功的應(yīng)用到非完備信息博弈中。在非完備信息博弈中，博弈雙方僅擁有當(dāng)前游戲狀態(tài)的部分知識(shí)。在信息不明了的情況下，隨機(jī)策略成為一個(gè)可行的選擇。在隨機(jī)策略中，對(duì)局面

2、估值的準(zhǔn)確性提出了更高的要求。
　　在博弈系統(tǒng)中采用比較普遍的方法是靜態(tài)估值方法。靜態(tài)估值法，要求設(shè)計(jì)人員對(duì)下棋方法有較多的了解，能充分判斷棋局局面中的某一特征在形勢(shì)判斷中所起的重要程度(即相應(yīng)的分值)，并給整個(gè)局面比較準(zhǔn)確的評(píng)分。但是面對(duì)成千上萬的局面，即使是大師也不可能一一做出精確的形勢(shì)判斷，特別是在對(duì)局的開始階段，棋局的優(yōu)劣更難以判斷。而且，如果對(duì)大量的棋局狀態(tài)進(jìn)行存儲(chǔ)，就要求有大的存儲(chǔ)空間及快速的搜索算法。對(duì)此，本文采用Q

3、-學(xué)習(xí)方法來解決靜態(tài)估值函數(shù)存在的問題。
　　Q-學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域強(qiáng)化學(xué)習(xí)技術(shù)的一種。傳統(tǒng)的學(xué)習(xí)技術(shù)通過預(yù)測(cè)值和真實(shí)結(jié)果之間的差值來調(diào)整描述狀態(tài)的各種參數(shù)，而Q-學(xué)習(xí)根據(jù)連續(xù)的預(yù)測(cè)之間的差值來調(diào)整。對(duì)現(xiàn)實(shí)生活中的大多數(shù)預(yù)測(cè)問題來說，Q-學(xué)習(xí)相對(duì)于傳統(tǒng)方法而言需要更少的內(nèi)存，更低的計(jì)算時(shí)間復(fù)雜度。Q-學(xué)習(xí)側(cè)重于對(duì)運(yùn)算效率的提升，結(jié)果優(yōu)于傳統(tǒng)學(xué)習(xí)方法。
　　本文探討了Q-學(xué)習(xí)在非完備信息機(jī)器博弈估值函數(shù)中的應(yīng)用，并針對(duì)Q-學(xué)習(xí)

4、存在收斂速度慢和結(jié)果容易陷入局部最優(yōu)這兩個(gè)特點(diǎn)，結(jié)合時(shí)序差分預(yù)測(cè)和模擬退火算法，來加快收斂速度和達(dá)到探索結(jié)果全局最優(yōu)，實(shí)現(xiàn)了一個(gè)具有自學(xué)習(xí)能力的非完備信息博弈系統(tǒng)。本文的主要研究成果和創(chuàng)新之處在于：
　　1.針對(duì)Q-學(xué)習(xí)收斂速度慢的特點(diǎn)，結(jié)合時(shí)序差分預(yù)測(cè)，并且動(dòng)態(tài)調(diào)整參數(shù)，來實(shí)現(xiàn)初期信息的收集以加快學(xué)習(xí)，后期加快收斂速度；
　　2.在Q-學(xué)習(xí)中，引入模擬退火中的Metropolis準(zhǔn)則，對(duì)非最優(yōu)解進(jìn)行探索，使學(xué)習(xí)結(jié)果全局最優(yōu)