中文--機(jī)器人杯是一個(gè)推動(dòng)機(jī)器人基礎(chǔ)科技研究的平臺(tái)

1、<p><b>　　中文10900字</b></p><p>　　出處：Cutting Edge Robotics, ISBN 3-86611-038-3, pp. 784</p><p>　　機(jī)器人杯是一個(gè)推動(dòng)機(jī)器人基礎(chǔ)科技研究的平臺(tái)</p><p>　　陳賢義(音) 夏德勝(音)</p><p><b

2、>　　1引言：</b></p><p>　　機(jī)器人是一項(xiàng)促進(jìn)人工智能、機(jī)器人學(xué)和相關(guān)領(lǐng)域發(fā)展的綜合工程，機(jī)器人杯通過(guò)提供一個(gè)標(biāo)準(zhǔn)的問(wèn)題，來(lái)努力發(fā)展關(guān)于人工智能和智能機(jī)器人方面的研究，為解答這個(gè)標(biāo)準(zhǔn)的問(wèn)題，我們集成和檢驗(yàn)很多領(lǐng)域的技術(shù)。機(jī)器人杯選取了足球作為研究的中心課題，目的在于促進(jìn)創(chuàng)新，以便應(yīng)用于社會(huì)重大問(wèn)題和工業(yè)生產(chǎn)。機(jī)器人杯的終極目標(biāo)是在2050年，開(kāi)發(fā)出一支能夠在與人類足球冠軍隊(duì)的比賽中

3、贏得勝利的具有全自動(dòng)特性的類人機(jī)器人隊(duì)伍。</p><p>　　為了使機(jī)器人能夠真正踢一場(chǎng)比賽，必須整合許多相關(guān)的技術(shù)，其中包括：自治終端的設(shè)計(jì)原理，多終端協(xié)作，策略學(xué)習(xí)，實(shí)時(shí)分析，機(jī)器人學(xué)和傳感器整合。機(jī)器人杯是一個(gè)在動(dòng)態(tài)環(huán)境下多個(gè)快速運(yùn)動(dòng)機(jī)器人團(tuán)隊(duì)的任務(wù)，機(jī)器人杯同樣提供了一個(gè)基于機(jī)器人杯的軟件方面的軟件研究平臺(tái)。</p><p>　　機(jī)器人杯技術(shù)的一個(gè)主要應(yīng)用是在大規(guī)模災(zāi)難中執(zhí)行尋找

4、和營(yíng)救的任務(wù)。機(jī)器人杯發(fā)起機(jī)器人的營(yíng)救項(xiàng)目，是專門為促進(jìn)機(jī)器人在社會(huì)重大問(wèn)題及事件方面的應(yīng)用的研究。</p><p>　　圖1 未來(lái)的足球?qū)?zhàn)</p><p>　　在下一部分我們將介紹機(jī)器人杯的起源，組織及比賽情況。在第三部分我們將討論機(jī)器人杯的相關(guān)技術(shù)。</p><p>　　2機(jī)器人杯的起源，組織和比賽形式：</p><p>　　機(jī)器人杯

5、的概念是Alan Mackworth在1993年首先提出來(lái)的。機(jī)器人杯的主要目標(biāo)是提出一個(gè)具有挑戰(zhàn)性的研究課題，以便促進(jìn)機(jī)器人學(xué)的發(fā)展。經(jīng)過(guò)兩年的可行性研究，在1995年秋，人們發(fā)表了關(guān)于引入機(jī)器人杯國(guó)際研討會(huì)及國(guó)際足球賽的通告，現(xiàn)在機(jī)器人杯足球賽被分為這幾部分比賽：模擬對(duì)抗賽（2D模式，3D模式），小型機(jī)器人賽（F180），中型機(jī)器人賽（F2000），四足機(jī)器人賽，類人機(jī)器人賽。在1997年7月首次官方會(huì)議和比賽在日本舉行。一年一次的

6、盛事吸引了許多參賽者和觀眾。</p><p>　　2.1機(jī)器人杯的2D模擬賽</p><p>　　機(jī)器人杯2D模擬賽用一個(gè)叫做足球服務(wù)器的模擬器去做足球賽的仿真。足球服務(wù)器提供了一個(gè)研究多終端系統(tǒng)的標(biāo)準(zhǔn)平臺(tái)，22個(gè)終端(每隊(duì)11個(gè))與服務(wù)器交換信息，服務(wù)器以2D足球賽的模式模擬球員、足球及場(chǎng)地。每100ms足球服務(wù)器通過(guò)接口通訊方式從每個(gè)終端接收指令，終端向它所控制的模擬球員發(fā)送將要被執(zhí)行

7、的(不完全)的低級(jí)信息(如沖，轉(zhuǎn)，踢)，終端只能以一種不可靠的窄帶通訊信道相互交流信息。這個(gè)信道在服務(wù)器中是內(nèi)置的。足球服務(wù)器模擬(不完全的)球員的感知，并每隔150ms向各個(gè)終端發(fā)送簡(jiǎn)要的分析（如目標(biāo)，球隊(duì)員和球，方向距離及相對(duì)速度），終端的場(chǎng)地視野僅限于整個(gè)場(chǎng)地的一部分。足球服務(wù)器實(shí)行大多數(shù)基本人類足球規(guī)則，其中包括越位，角球和射門，并模擬一些基本的球員限制，比如最大跑速及踢球力度，和耐力限制等(nom99)。</p>

8、<p>　　每隊(duì)一個(gè)外加的終端可以以“教練”的身份與其他終端聯(lián)系，“教授”的特點(diǎn)是可以看到整個(gè)場(chǎng)地并在比賽中止時(shí)(如發(fā)任意球時(shí))向其他終端發(fā)送策略信息。</p><p>　　足球顯示器(圖2)作為又一個(gè)終端與足球服務(wù)器交換信息。并為人類提供一個(gè)二維的比賽視圖，其他類型終端可以以相同的方式與服務(wù)器聯(lián)系，完成一些功能，如三維視圖，自動(dòng)實(shí)況報(bào)道及統(tǒng)計(jì)分析。</p><p>　　圖2

9、機(jī)器人杯2D模擬賽</p><p>　　在比賽中并沒(méi)有實(shí)際的機(jī)器人，但觀眾可以通過(guò)大屏幕來(lái)觀看比賽。這看起來(lái)有點(diǎn)像一個(gè)巨大的電腦游戲。每個(gè)模擬機(jī)器人可以擁有自己的踢球策略和特點(diǎn)，并且每個(gè)模擬足球隊(duì)實(shí)際上由一組程序設(shè)計(jì)員組成。為使比賽能夠順利完成，許多電腦以網(wǎng)絡(luò)聯(lián)接了起來(lái)，比賽共持續(xù)10分鐘，每個(gè)半場(chǎng)5分鐘。</p><p>　　圖3 機(jī)器人杯的3D模擬賽</p><p&

10、gt;　　2.2機(jī)器人杯3D虛擬比賽</p><p>　　3D比賽利用了一種虛擬器，這種虛擬器以在2003年機(jī)器人杯研討會(huì)上提出的虛擬系統(tǒng)和在2002年機(jī)器人杯研討會(huì)上提出的spades模擬中間設(shè)備系統(tǒng)為基礎(chǔ)，這種模擬器可以在source forge(圖3)上下載。未來(lái)的3D足球賽的一個(gè)目標(biāo)是虛擬具有關(guān)節(jié)的機(jī)器人，比如類人機(jī)器人。</p><p>　　編譯和安裝rcsserver 3D,你

11、需要安裝軟件包，你可以以兩種方法安裝rcsserver 3D，一種是簡(jiǎn)捷安裝，一種是完整安裝。在完整安裝方式下，你得到一個(gè)附加的庫(kù)(叫做kerosin)這個(gè)庫(kù)對(duì)顯示對(duì)象具有良好的效果，特別是關(guān)節(jié)型對(duì)象(這是由一個(gè)以上的幾何體組成的對(duì)象，幾何體之間都是以關(guān)節(jié)連接的)，這些特性并不是虛擬足球中必須的，在系統(tǒng)默認(rèn)的簡(jiǎn)捷方式安裝中，你得到的一個(gè)不是那么吸引人的openGL，圖像要改為完全安裝，需要充許“enable-kerosin”標(biāo)簽，直到確

12、認(rèn)殼體腳本。如果想知道通用安裝所需要的庫(kù)，請(qǐng)看下面介紹的詳細(xì)文本：</p><p><b>　　spades</b></p><p>　?。蛇\(yùn)行的版本：1.0及其以前版本；</p><p>　　－可從http://sourceforge.net/projects/spades-sim下載；</p><p>　?。枋觯?/p>

13、智能體中間件，處理時(shí)機(jī)選擇問(wèn)題及網(wǎng)絡(luò)工作；</p><p>　　－附加信息：你需要一個(gè)近期的expat for sapdes版本。</p><p><b>　　ruby</b></p><p>　　－可運(yùn)行服本：1.8.0或者更新的版本；</p><p>　　－從http://www.ruby-lang.org/下載；&

14、lt;/p><p><b>　　描述：腳本語(yǔ)言；</b></p><p>　　附加信息：如果你自己編譯ruby，你需要打開(kāi)共享功能。</p><p><b>　　boost</b></p><p>　?。梢赃\(yùn)行的版本：1.30.2，1.31.0；</p><p>　?。蓮膆t

15、tp://www.boost.org/下載；</p><p>　　描述：C++編程擴(kuò)展。</p><p><b>　　ode</b></p><p>　?。蛇\(yùn)行版本：0.039；</p><p>　?。蓮膆ttp://sourceforge.net/projects/open-de下載；</p><

16、;p>　?。枋觯河脕?lái)模擬關(guān)節(jié)連接的剛體的動(dòng)態(tài)特性。</p><p>　　openGL,GLUT</p><p>　　你需要openGL和GLUT頭文件來(lái)為可視化提供支持。這可能需要依靠你的顯卡支持（GLUT是openGL的效用工具）；</p><p>　　－是XFree86-Mesa-devel的一部分；</p><p>　?。惚仨?/p>

17、用linux distro來(lái)得到它。</p><p>　　圖4 小型機(jī)器人比賽</p><p>　　2.3小型機(jī)器人杯比賽</p><p>　　球場(chǎng)必須為矩形，大小包括邊界線，標(biāo)準(zhǔn)長(zhǎng)度：4900mm，寬度：3400mm。一個(gè)小型的機(jī)器人杯比賽在兩組機(jī)器人中進(jìn)行，每組５個(gè)人，每個(gè)機(jī)器人必須限制在一定的尺寸內(nèi)，該尺寸規(guī)定在F180條規(guī)定中進(jìn)行了詳細(xì)的說(shuō)明：機(jī)器人必須

18、能放在直徑為180mm的圓圈內(nèi)，并且不高于15cm，除非利用機(jī)載可視化系統(tǒng)。機(jī)器人在一個(gè)鋪有綠地毯的2.8米長(zhǎng)2.3m寬的場(chǎng)地中踢球，球是一個(gè)桔黃色的高爾夫球。機(jī)器人分為兩種類型，一種是有局部機(jī)載視覺(jué)傳感器的機(jī)器人，一種是具有全局視覺(jué)的機(jī)器人。全局視覺(jué)機(jī)器人是現(xiàn)在最普及的類型。利用一個(gè)置頂?shù)恼障鄼C(jī)和場(chǎng)外的PC機(jī)去判定和追蹤在場(chǎng)內(nèi)移動(dòng)的機(jī)器人。置頂相機(jī)被固定在一個(gè)高出球場(chǎng)平面3米的一個(gè)相機(jī)桿上。局部視覺(jué)機(jī)器人擁有自己的傳感器。視覺(jué)信息可以

19、直接通過(guò)機(jī)器人本身處理，也可以傳到場(chǎng)外的PC機(jī)上處理。場(chǎng)外PC是用來(lái)傳達(dá)裁判指令，并在置頂視覺(jué)系統(tǒng)中傳遞位置信息給機(jī)器人，典型的場(chǎng)外PC同樣做好許多協(xié)作和控制的處理工作即使它沒(méi)有做全部的工作。最常用的通訊利用無(wú)線通訊方式，并且通常用專用的商業(yè)化的FM傳送/接收裝置，盡管至少有一支隊(duì)成功地利用了IRDA技術(shù)。</p><p>　　圖5 中型機(jī)器人比賽</p><p>　　2.4中型機(jī)器人比

20、賽</p><p>　　兩隊(duì)帶有全部機(jī)載傳感器的球隊(duì)在場(chǎng)地踢足球，每支隊(duì)伍四個(gè)人，物體是通過(guò)顏色來(lái)辨別的。機(jī)器人之間的交流(如果有的話)是通過(guò)無(wú)線方式來(lái)交流的，比賽過(guò)程中沒(méi)有人類的干預(yù)，除非從場(chǎng)地放入或移走機(jī)器人。</p><p><b>　　2.5四足機(jī)器人賽</b></p><p>　　四足機(jī)器人賽中參賽隊(duì)伍必須用競(jìng)賽委員指定的沒(méi)有任何硬件

21、改動(dòng)的機(jī)器人。</p><p>　　在2004年機(jī)器人賽中人們可以選用以下三種方式其中一種組隊(duì)：</p><p>　?。璖ONY娛樂(lè)機(jī)器人AIBO ERS-210/210A</p><p>　?。璖ONY娛樂(lè)機(jī)器人AIBO ERS-7</p><p><b>　　－兩種機(jī)器人混用。</b></p><

22、p>　　四個(gè)與SSL相關(guān)的主要技術(shù)問(wèn)題如下所列：</p><p>　　堅(jiān)實(shí)的機(jī)械結(jié)構(gòu)。一個(gè)能在SSL中踢出好水平的機(jī)器人必須速度快，并且能夠抵抗強(qiáng)烈的撞擊，一般來(lái)說(shuō)SSL機(jī)器人能在從桌面上掉落下來(lái)的情況下仍能夠繼續(xù)踢球。近兩年機(jī)器人結(jié)構(gòu)設(shè)計(jì)方面有了一些新的重點(diǎn)，那就是方向選擇性驅(qū)動(dòng)和帶有允許機(jī)器人控球的帶球棍。</p><p>　　可靠的無(wú)線通訊。這個(gè)可能是SSL中單個(gè)未解決的最困難

23、的問(wèn)題。大多數(shù)隊(duì)伍利用同樣的RF條來(lái)進(jìn)行通訊。并且在過(guò)去這導(dǎo)致了嚴(yán)重的干擾問(wèn)題。因?yàn)橥瑫r(shí)安排兩場(chǎng)比賽相當(dāng)困難。聯(lián)賽的時(shí)間變得很長(zhǎng)。像WAVElan card和藍(lán)牙技術(shù)模塊將會(huì)在未來(lái)被開(kāi)發(fā)出來(lái)。</p><p>　　對(duì)機(jī)器人行為的良好編程?？梢哉f(shuō)大多數(shù)SSL球隊(duì)采用了具有簡(jiǎn)單策略目標(biāo)的純反應(yīng)式設(shè)計(jì)。足球場(chǎng)地相對(duì)于機(jī)器人來(lái)說(shuō)太小意味著為機(jī)器人計(jì)算復(fù)雜的策略并不值得。由于機(jī)器人相對(duì)于足球場(chǎng)地的運(yùn)動(dòng)速度過(guò)快，大多數(shù)系統(tǒng)的

24、范圍僅僅是對(duì)未來(lái)系統(tǒng)的一個(gè)簡(jiǎn)單框架。因此，如果想通過(guò)編程來(lái)實(shí)現(xiàn)更復(fù)雜的策略，就必須將擴(kuò)大場(chǎng)地的研究作為主要的問(wèn)題。</p><p>　　圖6 四足機(jī)器人比賽</p><p>　　2.6類人機(jī)器人比賽</p><p>　　類人機(jī)器人顯現(xiàn)出了足球運(yùn)動(dòng)員的基本技巧，比如射門或防止對(duì)方進(jìn)球。相關(guān)的對(duì)象以顏色來(lái)進(jìn)行區(qū)分。由于一些類人機(jī)器人具有遠(yuǎn)程操控的特點(diǎn)，人類干預(yù)在類人

25、機(jī)器人的比賽中是充許的。</p><p>　　3把足球看作是一個(gè)多智能體的環(huán)境：</p><p>　　從分布式人工智能和多智能體研究方面來(lái)看，機(jī)器人杯足球賽是一個(gè)特殊的但卻非常吸引人的實(shí)時(shí)多智能體環(huán)境。如果我們把一個(gè)足球隊(duì)看作多智能體的系統(tǒng)，許多有趣味的研究就會(huì)浮現(xiàn)出來(lái)。</p><p>　　圖7 類人機(jī)器人比賽</p><p>　　在一場(chǎng)

26、比賽中，我們有兩個(gè)競(jìng)爭(zhēng)隊(duì)伍，每個(gè)隊(duì)伍有一個(gè)全隊(duì)的共有目標(biāo)，那就是贏得比賽。兩隊(duì)的目標(biāo)是不相容的，對(duì)方的球隊(duì)可以看作是動(dòng)態(tài)的阻礙環(huán)境。這個(gè)環(huán)境可以妨礙全隊(duì)的目標(biāo)實(shí)現(xiàn)。為了實(shí)現(xiàn)這個(gè)目標(biāo)，每個(gè)隊(duì)成員必須動(dòng)作迅速，靈活并且能夠互相協(xié)作，并把局部和全局環(huán)境考慮在內(nèi)。</p><p>　　球隊(duì)可能有一些全局(整個(gè)球隊(duì)范圍內(nèi))策略去實(shí)現(xiàn)共同目標(biāo)，并且需要局部和全局的技巧來(lái)實(shí)現(xiàn)子目標(biāo)。然而，考慮到如下所列的挑戰(zhàn)：</p&g

27、t;<p>　　－比賽環(huán)境，也就是說(shuō)隊(duì)友和對(duì)手的動(dòng)態(tài)程度非常高；</p><p>　?。總€(gè)球員的感知可以被局部限制；</p><p>　　－每個(gè)球員的角色可能不一樣；</p><p>　　－球員之間的交流是有限的，因此每個(gè)智能體必須在資源有限的環(huán)境下表現(xiàn)得非常靈活并且具有自主特性。</p><p>　　通過(guò)對(duì)這些問(wèn)題的總結(jié)，我

28、們可以認(rèn)為機(jī)器人足球是一種基于高動(dòng)態(tài)特性環(huán)境的協(xié)作的分布式的實(shí)時(shí)計(jì)劃方案。在為實(shí)現(xiàn)共同目標(biāo)而實(shí)行的分布式協(xié)作計(jì)劃中，重要任務(wù)包括在每個(gè)智能體上生成有潛力的局部計(jì)劃，并協(xié)調(diào)這些局部變化，問(wèn)題空間的動(dòng)態(tài)變化，比如目標(biāo)變化頻率相對(duì)于每個(gè)計(jì)劃者的性能來(lái)說(shuō)是相當(dāng)大的。輪流產(chǎn)生計(jì)劃和執(zhí)行語(yǔ)句的反應(yīng)式計(jì)劃被認(rèn)作是一個(gè)有效的方法，至少對(duì)一個(gè)要處理這些動(dòng)態(tài)問(wèn)題的智能體來(lái)說(shuō)。</p><p>　　對(duì)協(xié)作計(jì)劃安排來(lái)說(shuō)，現(xiàn)實(shí)中有許多經(jīng)常

29、性變化的問(wèn)題空間或每個(gè)智能體存在能力被局部限制的問(wèn)題。在通訊耗費(fèi)和全局計(jì)劃的準(zhǔn)確性上有一個(gè)折中(這被叫做預(yù)期/執(zhí)行折中)。通訊耗費(fèi)是在協(xié)調(diào)智能體局部計(jì)劃與全局計(jì)劃所必須的。通信耗費(fèi)與處理耗費(fèi)之間的關(guān)系的研究向我們展現(xiàn)了這個(gè)問(wèn)題。這個(gè)研究關(guān)心的是FA/C假設(shè)的可靠性和優(yōu)化局部計(jì)劃與全局計(jì)劃準(zhǔn)確性兩者之間的關(guān)系。在動(dòng)態(tài)問(wèn)題空間中的反應(yīng)式協(xié)作計(jì)劃安排已經(jīng)多次在基于追逐模式比賽(捕獵者－獵物模式)中提出并評(píng)估。然而追逐賽是一個(gè)相對(duì)簡(jiǎn)單的比賽，這

30、種比賽環(huán)境一般是為了便于單智能體結(jié)構(gòu)的研究。</p><p>　　我們可以看出，機(jī)器人杯足球賽將會(huì)為分布式人工智能和多智能體研究提供一個(gè)更強(qiáng)勁，集成度更高的令人激動(dòng)的先驅(qū)評(píng)價(jià)環(huán)境。</p><p>　　4為機(jī)器人杯所做的關(guān)于現(xiàn)實(shí)機(jī)器人的研究：</p><p>　　在這部分，我們討論關(guān)于實(shí)現(xiàn)現(xiàn)實(shí)機(jī)器人參加機(jī)器人杯的幾個(gè)研究性問(wèn)題。</p><p&g

31、t;　　設(shè)計(jì)機(jī)器人杯球員和控制指令：現(xiàn)存機(jī)器人球員己經(jīng)被設(shè)計(jì)得能執(zhí)行大部分單一的行為動(dòng)作。比如前進(jìn)、帶球、旋轉(zhuǎn)。一個(gè)機(jī)器人杯球員應(yīng)該被設(shè)計(jì)得能夠執(zhí)行多重子任務(wù)，比如射門(包括踢球)、帶球(前進(jìn))、傳球、頂球和扔球。這些指令常常包括一些避開(kāi)對(duì)手的普通行為。大體上說(shuō)有兩種方法去建造機(jī)器人杯機(jī)器人：</p><p>　　－分別設(shè)計(jì)每個(gè)部分，每個(gè)部分專門為一個(gè)動(dòng)作而設(shè)計(jì)，然后將它們組裝成一體。</p>&l

32、t;p>　　－設(shè)計(jì)一到兩個(gè)能夠完成多重子任務(wù)的元件。</p><p>　　方法１看起來(lái)設(shè)計(jì)較為簡(jiǎn)單，但建造較為復(fù)雜。反之亦然。由于機(jī)器人杯球員應(yīng)當(dāng)能夠快速移動(dòng)因此它必須緊湊些。因此法２應(yīng)是機(jī)器人杯機(jī)械設(shè)計(jì)的一個(gè)新目標(biāo)。我們需要緊湊的強(qiáng)有力的具有寬動(dòng)態(tài)范圍的驅(qū)動(dòng)。同時(shí)，我們應(yīng)開(kāi)發(fā)成熟的控制技術(shù)。這種控制技術(shù)應(yīng)能使多重活動(dòng)部件盡可能少。并使能量消耗達(dá)到最少。機(jī)器人杯參賽者的終極目標(biāo)是建造一種類人機(jī)器人，它可用自

33、己的腿腳來(lái)跑和踢，并傳球。它可以用自己的胳膊來(lái)扔球。并且它可以用頭來(lái)頂球。建造一支類人型機(jī)器人隊(duì)伍在現(xiàn)在看起來(lái)是不可能的。</p><p>　　視覺(jué)和傳感器整合：視覺(jué)信息是一種豐富的信息資源，它不光能感知外部世界，同時(shí)也能感知機(jī)器人的行動(dòng)效果。計(jì)算機(jī)視覺(jué)研究人員一直在探索一種準(zhǔn)確的能從2D視覺(jué)信息轉(zhuǎn)化的3D模型并相信3D模型是最有力的表現(xiàn)。它可以用在很多應(yīng)用中。比如視覺(jué)生成并形成數(shù)據(jù)庫(kù)、機(jī)器人操作和導(dǎo)航。然而，費(fèi)

34、時(shí)的3D再現(xiàn)對(duì)機(jī)器人杯球員的任務(wù)來(lái)說(shuō)可能不是必須的，也不是最優(yōu)的。為了能對(duì)周圍情況做出反應(yīng)，機(jī)器人杯需要快速?gòu)闹車h(huán)境中獲取信息，來(lái)選取自己的行為方式。我們不建議采取專用的視覺(jué)系統(tǒng)，因?yàn)橐曈X(jué)系統(tǒng)是一種用特殊方式與周圍世界交互作用的復(fù)雜系統(tǒng)。機(jī)器人杯是這個(gè)世界的一部分，它將會(huì)弄清視覺(jué)的角色和評(píng)價(jià)在電腦視覺(jué)領(lǐng)域前途未卜的圖像處理的表現(xiàn)。除視覺(jué)系統(tǒng)外，機(jī)器人杯球員需要其他的感應(yīng)裝置比如聲納及觸覺(jué)感應(yīng)和力與轉(zhuǎn)矩的感受來(lái)區(qū)分視覺(jué)信息。同樣，機(jī)器人

35、杯球員需要實(shí)時(shí)處理多傳感器整合和集成信息。因此，粗略利用多傳感器整合系統(tǒng)的直接辦法看起來(lái)并不適合。我們就為機(jī)器人杯開(kāi)發(fā)一種傳感器整合集成的方法。</p><p>　　學(xué)習(xí)型機(jī)器人行為：?jiǎn)蝹€(gè)球員必須能夠執(zhí)行幾種動(dòng)作，其中的每一個(gè)動(dòng)作都都是根據(jù)當(dāng)前周圍環(huán)境來(lái)選定的，考慮到傳感器信息處理和行動(dòng)執(zhí)行的不確定性，為所有的情況編定機(jī)器人行為是不可行的。機(jī)器人學(xué)習(xí)法看起來(lái)很有前途。作為一種機(jī)器人學(xué)習(xí)方法，強(qiáng)化學(xué)習(xí)最近引起了人們

36、的廣泛注意。這種學(xué)習(xí)方法用極少的推理卻得到了高性能反應(yīng)和適應(yīng)行為。然而大多數(shù)現(xiàn)在的應(yīng)用只有在電腦在虛擬環(huán)境下仿真才能夠?qū)崿F(xiàn)。現(xiàn)實(shí)機(jī)器人應(yīng)用極為少見(jiàn)(silva99)。對(duì)強(qiáng)化學(xué)習(xí)來(lái)說(shuō)機(jī)器人杯是一個(gè)很好的平臺(tái)，因?yàn)閺?qiáng)化學(xué)習(xí)的優(yōu)勢(shì)大部分取決于機(jī)器人所能達(dá)到的大型和復(fù)雜任務(wù)的程度。</p><p>　　在機(jī)器人聯(lián)賽的基礎(chǔ)階段單對(duì)單的競(jìng)賽看起來(lái)是可行的。由于球員要考慮對(duì)方的運(yùn)動(dòng)，問(wèn)題的復(fù)雜程度要比沒(méi)有對(duì)手的情況下射門要高出

37、很多。為減少這種復(fù)雜程度，任務(wù)分解是一種常用的辦法。Fredrik提出一種學(xué)習(xí)避開(kāi)守門員并射門的行為的方法(Fredrik00)射門和躲避是分別獨(dú)立學(xué)習(xí)得到的，并且這兩種行為在學(xué)習(xí)過(guò)程中相互協(xié)作，由于有限的視覺(jué)區(qū)域，他們的方法仍然需要承受巨大的狀態(tài)空間，并且存在觀察及聯(lián)絡(luò)方面的問(wèn)題。</p><p>　　Kum提出一種反應(yīng)式直接法來(lái)構(gòu)架在動(dòng)態(tài)環(huán)境中的實(shí)時(shí)智能控制。在一個(gè)單對(duì)單的類似足球比賽的游戲中應(yīng)用了他的方法，

38、由于它的方法需要全局感知場(chǎng)地內(nèi)機(jī)器人的位置，所以這種方法并不能應(yīng)用于只允許智能體感知（請(qǐng)查看規(guī)則部分）的機(jī)器人杯比賽。在最終比賽中，考慮使用多對(duì)多的比賽，在這種情況下，機(jī)器人必須具有集體行為，作為一個(gè)團(tuán)隊(duì)定義所有團(tuán)隊(duì)行為看起來(lái)是不可能的，特別是在當(dāng)某個(gè)復(fù)合動(dòng)作需要被執(zhí)行的時(shí)候。很難找到一個(gè)學(xué)習(xí)這些行為（也就是集體性行為）的簡(jiǎn)單方法。我們將不會(huì)定義某種情況為所有球員及球的準(zhǔn)確位置，僅僅是可能將他們分類為某種模式，或者我們可以考慮模仿式協(xié)作

39、。</p><p>　　另外，與機(jī)器人杯相關(guān)的問(wèn)題比如任務(wù)描述和環(huán)境建模也是一些具有挑戰(zhàn)性的課題。當(dāng)然，把解決以上問(wèn)題的方法集成到一個(gè)物理實(shí)體上是最困難的一個(gè)問(wèn)題。</p><p>　　5 機(jī)器人的相關(guān)問(wèn)題：</p><p>　　機(jī)器人足球比賽的實(shí)現(xiàn)是基于硬件或是模仿式機(jī)器人。規(guī)則與真人足球比賽相類似。由硬件實(shí)現(xiàn)的機(jī)器人足球賽的研究涉及電腦、自動(dòng)化、控制、傳感器技術(shù)

40、、無(wú)線通訊、精密機(jī)械、模仿材料和無(wú)數(shù)前沿的研究和綜合、集成。模仿式機(jī)器人足球賽在標(biāo)準(zhǔn)軟件平臺(tái)上運(yùn)行，它包含控制技術(shù)、通信、傳感器和其他一些方面，研究的關(guān)鍵問(wèn)題是一些先進(jìn)的功能，如系統(tǒng)內(nèi)的協(xié)作動(dòng)態(tài)判斷和及時(shí)的計(jì)劃、機(jī)器人的學(xué)習(xí)和一些當(dāng)前人工智能的一些熱點(diǎn)。因此，在國(guó)際人工智能領(lǐng)域，機(jī)器人足球賽被認(rèn)作是一個(gè)在未來(lái)50年內(nèi)的一個(gè)標(biāo)準(zhǔn)的課題，就像在人和電腦間進(jìn)行的國(guó)際象棋賽一樣。機(jī)器人足球賽為人工智能理論應(yīng)用到實(shí)際做出了許多貢獻(xiàn)。同樣它為檢驗(yàn)新

41、想法新技術(shù)和促進(jìn)相關(guān)技術(shù)的發(fā)展做出了幫助。一系列應(yīng)用到機(jī)器人足球賽的新技術(shù)將會(huì)促進(jìn)社會(huì)經(jīng)濟(jì)文化的發(fā)展。機(jī)器人足球賽不僅是一種具有高科技水平的前沿競(jìng)賽，同樣也提供了真正比賽提供的休閑娛樂(lè)及樂(lè)趣。</p><p>　　我們可以預(yù)料這個(gè)活動(dòng)將會(huì)產(chǎn)生巨大的市場(chǎng)需求和新的工業(yè)機(jī)遇。而且還會(huì)帶來(lái)不可估量的經(jīng)濟(jì)效益和社會(huì)應(yīng)用。</p><p>　　機(jī)器人杯研究目標(biāo)是為分布式系統(tǒng)提供一個(gè)測(cè)試平臺(tái)，它以一種

42、特殊的方式包含了以下幾個(gè)研究目標(biāo)：</p><p>　?。瓩C(jī)器人形態(tài)?，F(xiàn)在機(jī)器人利用輪子和軌道來(lái)組成形體，而人類球員不會(huì)用這些東西來(lái)在球場(chǎng)上踢球。所以我們必須把機(jī)器人建造得跟人類相似。比如具有相同的姿態(tài)，結(jié)構(gòu)和體重。</p><p>　　－機(jī)器人的軀體。如果機(jī)器人充滿了鐵和塑料，人們將會(huì)害怕接觸它。所以，機(jī)器人必須擁有自己的肌肉并且可以與人類相接觸。</p><p>

43、;　　－機(jī)器人能源?，F(xiàn)在足球機(jī)器人的能源是電池。但是只能用幾分鐘。在將來(lái)，足球機(jī)器人必須跑和移動(dòng)40~45分鐘。那意味著電池必須體具有重量輕和能量大的特性。</p><p>　　－機(jī)器人技巧?，F(xiàn)在兩腿機(jī)器人能夠爬樓梯。最好的足球機(jī)器人是SONY公司的四足狗。50年后機(jī)器人一定可以像人一樣跑跳射門和帶球。人們可以做到的機(jī)器人也可以做到。</p><p>　　－機(jī)器人智能。高級(jí)球員用他們的大腦

44、來(lái)踢球，所以明星球員的智力必定很高。在 1977年IBM的深藍(lán)電腦擊敗了卡斯帕羅夫，但是IBM只用了16RISK6000，所以在將來(lái)內(nèi)置足球機(jī)器人球員的內(nèi)置微型計(jì)算機(jī)一定會(huì)非常優(yōu)秀。</p><p>　　－機(jī)器人的感覺(jué)。傳感器部分將會(huì)被隨意放置，比如，它可以擁有六個(gè)眼睛，并利用聲納和無(wú)線通訊網(wǎng)絡(luò)?，F(xiàn)在的傳感器技術(shù)不能解決圖像理解觸摸力度和內(nèi)置傳感器的功能與效率的問(wèn)題。所以我們必須解決這些問(wèn)題。</p>

45、<p>　　6 機(jī)器人杯和MAS(多智能體)的關(guān)系：</p><p>　　6.1智能體MAS和機(jī)器人杯</p><p>　　機(jī)器人杯是一個(gè)典型的MAS(Multi-agent system多智能體系統(tǒng))模型，我們可以把7個(gè)機(jī)器人當(dāng)做7個(gè)終端，這將會(huì)涉及MAS一些相關(guān)技術(shù)，比如通訊和協(xié)作。這些技術(shù)正是MAS的核心技術(shù)。</p><p>　　智能體是一個(gè)近

46、幾年在電腦科學(xué)領(lǐng)域的一個(gè)重要的概念，這個(gè)概念已經(jīng)被廣泛應(yīng)用到了人工智能領(lǐng)域、分布式計(jì)算機(jī)系統(tǒng)學(xué)等等。同時(shí)這個(gè)概念提供了一個(gè)嶄新的分布式開(kāi)放系統(tǒng)的設(shè)計(jì)路線。它被認(rèn)作是“一個(gè)軟件發(fā)展的重大突破”，在AI領(lǐng)域人們把智能體當(dāng)做計(jì)算機(jī)化的實(shí)體，它能獨(dú)立完成某種任務(wù)，并且具有在某種環(huán)境下的生命周期估計(jì)。人們同樣把由多個(gè)智能體組成的可相互交流和互動(dòng)的系統(tǒng)叫做MAS。</p><p>　　大體上認(rèn)為智能體研究可以分為智能代理、M

47、AS和智能導(dǎo)向編程(AOP)。他們之間并不是相互孤立的。智能代理可以看做是智能體研究的一個(gè)微縮級(jí)別。但AOP和發(fā)展工具或者AOP平臺(tái)目的是為了MAS研究服務(wù)。因此，從某種程度上說(shuō)，我們可以說(shuō)這三個(gè)項(xiàng)目對(duì)MAS研究來(lái)說(shuō)是一體的，這種說(shuō)法與我們現(xiàn)實(shí)環(huán)境相一致，因?yàn)榇蠖鄶?shù)現(xiàn)實(shí)系統(tǒng)屬于MAS。</p><p>　　MAS是機(jī)器人杯的基礎(chǔ)技術(shù)，機(jī)器人杯是MAS系統(tǒng)的一個(gè)典型。很明顯，機(jī)器人杯技術(shù)包括一些智能體相關(guān)技術(shù)比如協(xié)

48、調(diào)規(guī)則、可靠的通信、死鎖和一些其他的技術(shù)。這些技術(shù)是MAS的核心技術(shù)。對(duì)于一個(gè)想?yún)⒓訖C(jī)器人杯的研究人員來(lái)說(shuō)最基本的問(wèn)題是設(shè)計(jì)一個(gè)多智能體系統(tǒng)。這個(gè)系統(tǒng)可以實(shí)時(shí)做出響應(yīng)，他同樣可以執(zhí)行一個(gè)合理的面向目標(biāo)的行動(dòng)。由于足球比賽空間巨大為所有可能情況和條件還有智能體行為編碼是不可能的，因此，讓智能體學(xué)會(huì)策略十分關(guān)鍵。而且這些與智能體研究的一些技術(shù)密切相關(guān)。這些包括：</p><p>　?。趨f(xié)作環(huán)境下的機(jī)器學(xué)習(xí)</

49、p><p>　　－MAS的構(gòu)建：及時(shí)的MAS團(tuán)隊(duì)協(xié)作控制和命令執(zhí)行。</p><p><b>　?。M對(duì)手。</b></p><p>　　6.2 MAS系統(tǒng)的協(xié)調(diào)</p><p>　　由于機(jī)器人杯是多智能體系統(tǒng)，智能體間協(xié)調(diào)和控制問(wèn)題便成了要解決的重要問(wèn)題。如果可以被恰當(dāng)?shù)亟鉀Q，那將會(huì)給MAS帶來(lái)很多好處比如：降低協(xié)調(diào)的花

50、費(fèi)；加快整個(gè)系統(tǒng)的反應(yīng)速度；確立集體和個(gè)體行動(dòng)的效用關(guān)系；保護(hù)缺乏推理能力的機(jī)器人并給帶有強(qiáng)烈冒險(xiǎn)精神的智能體帶來(lái)好處。</p><p>　　解決等待其他智能體執(zhí)行完任務(wù)、隊(duì)內(nèi)協(xié)作等問(wèn)題。在MAS中協(xié)作和控制問(wèn)題實(shí)際上是有智能體的群體行為(群體行為概念是意味著在群體活動(dòng)中，發(fā)起行為的個(gè)體將會(huì)從與其他個(gè)體交換資源的過(guò)程中受益，盡管這些資源對(duì)它來(lái)說(shuō)并不是重要的)引發(fā)的。因此，研究MAS的群體行為變成了最基本的問(wèn)題?，F(xiàn)

51、在MAS群體性研究者已經(jīng)取得了一部分成就。但是由于缺少進(jìn)一步的MAS群體性研究，當(dāng)前的協(xié)作和控制研究仍然存在許多未解決的問(wèn)題，比如：</p><p>　　－很難判定各個(gè)方法的優(yōu)缺點(diǎn)；</p><p>　?。^(guò)分注重個(gè)體研究等。</p><p>　　協(xié)作法可以被分為如圖８所示的幾種方法。這里我們僅討論團(tuán)隊(duì)目標(biāo)的隱性協(xié)作。作為一種隱性方法，集體目標(biāo)不僅可以用來(lái)降低成本，

52、同時(shí)也可以用來(lái)嵌入MAS集體行為并平衡個(gè)體和集體的獲益。集體目標(biāo)對(duì)MAS來(lái)說(shuō)是一個(gè)好的突破。如果P是一個(gè)集體目標(biāo)，那么(C是集體)：</p><p>　?。總€(gè)智能體I把P當(dāng)做自己的目標(biāo)；</p><p>　?。總€(gè)在C中的成員有意識(shí)的與其他成員共同完成這個(gè)目標(biāo)；</p><p>　　—每一個(gè)球員把P當(dāng)做目標(biāo)，因?yàn)樗鼈兿嗷バ湃危?lt;/p><p&g

53、t;　?。麄冃湃螌?duì)方，所以如果智能體I達(dá)到了目標(biāo)P，則其他成員認(rèn)為自己也達(dá)到了目標(biāo)。</p><p>　　圖8 協(xié)作方式分類</p><p>　　現(xiàn)在集體目標(biāo)的研究包括兩個(gè)傾向，一個(gè)是研究?jī)A向于智能體集體形成之前；一個(gè)是在智能體集體形成之后。</p><p>　　6.3 MAS的通訊技術(shù)</p><p>　　MAS研究中的通訊技術(shù)同樣是

54、一個(gè)非常重要的問(wèn)題，它可以決定智能體通訊的優(yōu)勢(shì)和缺陷。如果它們流暢的交換信息，那將會(huì)提高智能體通訊的速度，因此，在己解決通訊問(wèn)題的條件下，我們接著討論怎樣使的通訊更高效。</p><p>　　計(jì)算機(jī)不能夠理解人類語(yǔ)言的一個(gè)重要原因是它需要很多知識(shí)資源，如果信息發(fā)送方能夠了解信息接收方的情況，它將會(huì)發(fā)出更多的長(zhǎng)度短內(nèi)容少的信息。因此，有效的交流需要解決的如下兩個(gè)問(wèn)題。</p><p>　　首

55、先是利用背景信息。如果信息接收方能夠與信息發(fā)送方享有共同的背景信息，那么共同的背景可以作為一種信息資源來(lái)決定信息的意義，共同環(huán)境包括名詞、索引、當(dāng)前環(huán)境等，比如：Tom離開(kāi)了家，并且他很快就會(huì)回來(lái)。如果信息接收方理解了第一句話“Tom離開(kāi)了家”，那么它就會(huì)認(rèn)為第二句中的“他”指的是Tom。因此“他”可以替代Tom。盡管這只是做了很少的節(jié)約，但是大量的節(jié)約加起來(lái)就提高了效率。在這里背景環(huán)境同樣也可以叫做語(yǔ)言的預(yù)定義。并且預(yù)定義將會(huì)對(duì)正確發(fā)

56、送信息起到幫助作用，并且使得信息接收方能夠正確的理解接收的通話。</p><p>　　接下來(lái)是消除歧義。用人類語(yǔ)言的人能通過(guò)知識(shí)資源來(lái)區(qū)分具有不同含義的字和詞組所要表達(dá)的真正含義。但是對(duì)智能體來(lái)說(shuō)即使發(fā)送沒(méi)有歧義的信息也需要用到大量的字和非常復(fù)雜的表達(dá)。這包括許多方面:</p><p><b>　　字的歧義</b></p><p>　　同樣的字

57、可能有許多不同的意思，比如“Tom is hot”這句話不僅可以表示“Tom工作做得很好”，同樣也可以表示“Tom很熱”。由字的多義性引起的歧義叫做字的歧義。要解決這個(gè)問(wèn)題，需要很多附加的知識(shí)和一個(gè)句子的上下文。</p><p><b>　　句子結(jié)構(gòu)引起的歧義</b></p><p>　　有時(shí)候一個(gè)句子可以用不同的方式來(lái)表達(dá)。也就是說(shuō)詞語(yǔ)可以用不同的方式組合起來(lái)，這種

58、歧義叫做句子結(jié)構(gòu)的歧義。比如“He saw her at home”，這里不光可以說(shuō)明“他在看”，同樣也可以表示“他在家里”。解決這個(gè)問(wèn)題的辦法是讓接收方知道他或她的位置。</p><p><b>　　引用的歧義</b></p><p>　　重復(fù)使用代名詞和其他詞可能會(huì)引起不同的意思。解決這個(gè)問(wèn)題的過(guò)程涉及到復(fù)雜的發(fā)送方與接收方對(duì)內(nèi)容的推理。</p>&

59、lt;p><b>　　語(yǔ)言應(yīng)用的歧義</b></p><p>　　如果共同的知識(shí)資源和對(duì)接收方背景的學(xué)習(xí)是不確定的，這種歧義叫做語(yǔ)言應(yīng)用的歧義。解決的辦法是確定背景的信息的接收使得雙方具有共同的信息。</p><p><b>　　7 機(jī)器人的學(xué)習(xí)：</b></p><p>　　圖9 強(qiáng)化學(xué)習(xí)的略圖</p>

60、;<p>　　機(jī)器人杯研究的關(guān)鍵問(wèn)題是如何通過(guò)學(xué)習(xí)來(lái)提高智能體的智能，也就是提高球員的競(jìng)爭(zhēng)能力。在許多學(xué)習(xí)方法中，強(qiáng)化學(xué)習(xí)法有望解決能感知環(huán)境的自律機(jī)器人智能體怎樣選擇進(jìn)球最佳方案的問(wèn)題。這種方法得到了廣泛的關(guān)注。強(qiáng)化學(xué)習(xí)的機(jī)制如圖9所示。讓智能體所在環(huán)境為S，把任意智能體可能執(zhí)行的動(dòng)作叫做A。如果的St狀態(tài)下執(zhí)行任務(wù)At，那么智能體得到一個(gè)Rt的反饋，這個(gè)Rt是狀態(tài)-行動(dòng)轉(zhuǎn)化后的一個(gè)直接結(jié)果。所以從總體(St，At，Rt

61、)，智能體的任務(wù)是學(xué)習(xí)控制規(guī)則∏：S→A。這個(gè)規(guī)則可以使獎(jiǎng)勵(lì)的期望和最大。</p><p>　　對(duì)于機(jī)器人杯的電腦仿真賽，競(jìng)賽的模式是客戶端/服務(wù)器的模式，在這種模式里，人們采用足球服務(wù)器的標(biāo)準(zhǔn)軟件平臺(tái)，參賽隊(duì)伍寫(xiě)出他們自己的客戶端程序去仿真一個(gè)真正的足球賽，并且每個(gè)終端球員程序可以看做是與環(huán)境交互的智能體。在這個(gè)游戲里，每個(gè)智能體的行為如踢，沖，轉(zhuǎn)等不僅是一些底層的策略，這些同樣也是比賽中的關(guān)鍵問(wèn)題。在踢球時(shí)對(duì)

62、環(huán)境也就是足球服務(wù)器的交互作用，和反饋端口返饋回當(dāng)前的環(huán)境信息。然后球員的任務(wù)就是去設(shè)計(jì)一個(gè)策略，使踢球效果達(dá)到最好，也就是說(shuō)同時(shí)控制球并踢好球。如何協(xié)調(diào)整個(gè)隊(duì)伍進(jìn)行協(xié)作學(xué)習(xí)也是一個(gè)比賽獲勝的關(guān)鍵問(wèn)題。</p><p>　　如圖9所示，除智能體和環(huán)境外，仍有四個(gè)重要的部分，包括策略功能、獎(jiǎng)勵(lì)功能、還有評(píng)價(jià)功能和選擇性的環(huán)境模擬功能，策略學(xué)習(xí)是根據(jù)己觀察到的狀態(tài)定制出下一個(gè)狀態(tài)要執(zhí)行的動(dòng)作。獎(jiǎng)勵(lì)機(jī)制定義了強(qiáng)化學(xué)習(xí)的

63、目標(biāo)。它定義了一個(gè)可感知的環(huán)境狀態(tài)（或是狀態(tài)-動(dòng)作對(duì)）作為一個(gè)值，這個(gè)值是機(jī)器人對(duì)狀態(tài)的本質(zhì)需求，也就是獎(jiǎng)勵(lì)。在強(qiáng)化學(xué)習(xí)中單個(gè)智能體的目標(biāo)是在漫長(zhǎng)的學(xué)習(xí)過(guò)程中將整個(gè)獎(jiǎng)勵(lì)最大化，而評(píng)價(jià)功能顯示了在學(xué)習(xí)過(guò)程中什么是有用的。獎(jiǎng)勵(lì)決定最直接的對(duì)環(huán)境的本質(zhì)需求。所以狀態(tài)值反映了將來(lái)可能狀態(tài)下的對(duì)狀態(tài)的需求和在將來(lái)狀態(tài)中獲得獎(jiǎng)勵(lì)。由于環(huán)境模型模擬了模型行為，所以應(yīng)用這樣一個(gè)模型智能體可以預(yù)見(jiàn)環(huán)境將會(huì)對(duì)智能體的行為做出什么樣的反應(yīng)。強(qiáng)化學(xué)習(xí)可以解決大

64、量沒(méi)有優(yōu)先級(jí)的動(dòng)態(tài)程序。一個(gè)強(qiáng)化學(xué)習(xí)的總體結(jié)構(gòu)如下所示：</p><p>　　初始化學(xué)習(xí)固有狀態(tài)作為Io</p><p><b>　　循環(huán)</b></p><p><b>　　觀察當(dāng)前狀態(tài)S</b></p><p>　　應(yīng)用評(píng)價(jià)功能V去選擇一個(gè)動(dòng)作A=V(I,S)</p><p&

65、gt;<b>　　執(zhí)行動(dòng)作A</b></p><p>　　讓R作為在狀態(tài)S下執(zhí)行A的直接獎(jiǎng)勵(lì)</p><p>　　應(yīng)用更新功能更新固有狀態(tài)I=U（I，S，A，R）</p><p>　　通常固有狀態(tài)將會(huì)通過(guò)存儲(chǔ)好的學(xué)習(xí)算法計(jì)算并用狀態(tài)表和行為數(shù)據(jù)的方式編碼。通過(guò)遵循調(diào)整當(dāng)前狀態(tài)的強(qiáng)化命令，升級(jí)功能計(jì)算當(dāng)前固有狀態(tài)、輸入、要執(zhí)行的行為和新?tīng)顟B(tài)的強(qiáng)化

66、，并且根據(jù)存儲(chǔ)起來(lái)的固有狀態(tài)信息，評(píng)價(jià)功能V計(jì)算固有狀態(tài)并輸入一個(gè)動(dòng)作。在不同的強(qiáng)化學(xué)習(xí)中，U和V有一些不同點(diǎn)。</p><p>　　Q學(xué)習(xí)僅僅是一個(gè)典型的強(qiáng)化學(xué)習(xí)，在這種模式中，訓(xùn)練樣本并不跟<S,A>相似，相似的是給機(jī)器人行為的獎(jiǎng)勵(lì)。所以很難通過(guò)學(xué)習(xí)得到最好的∏:S→A策略。這個(gè)問(wèn)題可以通過(guò)學(xué)習(xí)定義在狀態(tài)和行為之上的評(píng)價(jià)功能來(lái)解決。通過(guò)學(xué)習(xí)評(píng)價(jià)功能，一個(gè)智能體獲得最基本的策略。一個(gè)很明顯的好的評(píng)價(jià)

67、功能是V*，當(dāng)V*（S1）>V*（S2）時(shí)，智能體將會(huì)希望進(jìn)入S1，因?yàn)槟菢訒?huì)得到一個(gè)大一些的獎(jiǎng)賞。當(dāng)然智能體會(huì)選擇行為，而不會(huì)選擇狀態(tài)。</p><p>　　8研究機(jī)器人杯的意義：</p><p>　　通過(guò)仔細(xì)考慮，我們可以提出更多的內(nèi)容和難題，我們看起來(lái)有理由拒絕“人類和機(jī)器之間的比賽”的想象，因?yàn)樵诋?dāng)前要達(dá)到這樣的目標(biāo)是不可能的。</p><p>　　但

68、是回望歷史，過(guò)去有太多的我們先人無(wú)法想象的科學(xué)成就不是嗎？50年內(nèi)人們將會(huì)對(duì)科學(xué)發(fā)展產(chǎn)生新的認(rèn)識(shí)。從第一架萊特兄弟的飛機(jī)試飛成功到阿波羅號(hào)飛船登陸月球，大約僅有半個(gè)世紀(jì)，同樣從第一臺(tái)電腦的誕生到“深藍(lán)”電腦打敗人類天才也是半個(gè)世紀(jì)?，F(xiàn)在我們應(yīng)該明白，在50年后，我們?cè)凇叭祟惡蜋C(jī)器之間的比賽”面前將不會(huì)說(shuō)不。</p><p>　　我們現(xiàn)在需要的是創(chuàng)新與積極參與，我們應(yīng)該做的是盡最大努力去促進(jìn)這個(gè)過(guò)程。</p&

69、gt;<p>　　很明顯我們應(yīng)更加注重創(chuàng)新，機(jī)器人杯包含人工生命、能源、動(dòng)力、材料等學(xué)科的發(fā)展，同樣它也孕育著機(jī)械、電子、控制、信息和電腦等與機(jī)器人相關(guān)的學(xué)科的重大突破。</p><p>　　機(jī)器人杯雖然只是幾個(gè)球員的高科技球賽，但它卻向我們展示了令人費(fèi)解的場(chǎng)景，比如機(jī)器人撞墻，兩個(gè)機(jī)器人相互糾纏，并且有些機(jī)器人顯得很迷亂，并不關(guān)心球在哪里。人們不理解為什么機(jī)器人的智力還趕不上個(gè)孩子。</p&

70、gt;<p>　　這就是說(shuō)讓機(jī)器人擁有人類的智慧及思考能力哪怕是三歲小孩的能力并不是一件容易的事情，到2050年，科學(xué)家們想組建一支全自動(dòng)的能夠在與人類冠軍隊(duì)的比賽中獲勝的機(jī)器人隊(duì)伍。這是一個(gè)偉大的目標(biāo)。</p><p><b>　　結(jié)語(yǔ)：</b></p><p>　　這個(gè)論文討論了一些MAS系統(tǒng)和機(jī)器人杯的主要技術(shù)。這個(gè)主要目標(biāo)是讓讀者知道更多的關(guān)于智

71、能體系統(tǒng)的知識(shí)和引發(fā)智能體導(dǎo)向技術(shù)的快速成熟的原因。</p><p>　　程序設(shè)計(jì)的發(fā)展總共有四個(gè)階段：面向過(guò)程的編程，模塊化編程，面向?qū)ο蟮木幊?，和智能編程。每個(gè)過(guò)程都是越來(lái)越抽象越來(lái)越模糊的建模工程，直到最終實(shí)現(xiàn)自動(dòng)編程。因此智能化的編程是編程史上不可避免的一個(gè)過(guò)程，機(jī)器人杯是一個(gè)促進(jìn)機(jī)器人基礎(chǔ)技術(shù)研究的動(dòng)力。</p><p><b>　　致謝：</b></

72、p><p>　　本作品獲得了中國(guó)博士基金組織的支持。</p><p><b>　　參考文獻(xiàn)：</b></p><p>　　[1]Balch T, Mhybinette (2000), Social Potentials for Scalable Multi-Robot Formation. IEEE International Conf.on Ro

73、botics and Automation (ICRA 2000):73-80. </p><p>　　[2]Magnus Boman(1999), Agent Programming in RoboCup'99. AgentLink NewsLetter, (4), November 1999. </p><p>　　[3]Burkhard H D,et al (2002),Th

74、e Road to RoboCup 2050. IEEE Robotics & Automation </p><p>　　Magazine. Jun. 2002: 31-38. </p><p>　　[4]Cai Qing-sheng, Zhang Bo (2003), An agent team reinforcement learning model and its app

75、lication. (J). Journal of Computer Research and Development. 2003,37(9): 1087-</p><p>　　1093. In China. </p><p>　　[5]Cheng Xian-yi (2003), Agent Computing. Haerbin(China): Hei Longjiang science

76、and </p><p>　　technology press. 2003. </p><p>　　[6]Cheng Xian-yi et al(2004),.Reinforcement Learning in Simulation RoboCup Soccer. </p><p>　　Proceeding of 2004 International Confer

77、ence on Machine Learning and Cybernetics </p><p>　　(ICML2004),in China, IEEE Catalog Number:04EX826. pp244-248. </p><p>　　[7]Fredrik Heintz (2000), RoboSoc a System for Developing RoboCup Agents

78、 for Educational Use. Master's thesis, Department of Computer and Information Science, Link.oping university, March 2000. </p><p>　　[8]Hiroaki Y et al (2001), A Distributed Control Scheme for Multiple R

79、obotic Vehicles to Make Group Forma- tions.Robotics and Autonomous systems,2001, 125 –147. </p><p>　　Silvia Coradeschi and Jacek Malec(1999), How to make achallenging AI course enjoyable using the RoboCup so

80、ccer simulation system. In RoboCup-98:The Second Robot World Cup Soccer Games and Conference, pages 120{124. Springer verlag, 1999. </p><p>　　[9]Johan Kummeneje, David Lyb.ack, and H_akan L. Younes (1999), U

81、BU – an object-</p><p>　　oriented RoboCup Team. In Johan Kummeneje and Magnus Boman, editors, Int7 </p><p>　　1999 Papers. 1999. </p><p>　　[10]Johan Kummeneje (1999), Simulated Robot