基于強化學習的自適應城市交通信號控制方法研究.pdf

1、城市道路不斷興建和擴寬，基礎(chǔ)設(shè)施建設(shè)投入也越來越大，然而城市交通擁堵問題卻越來越嚴重，主要原因是現(xiàn)有的城市交通信號控制TSC(Traffic SignalControl)系統(tǒng)不能充分做到對交通流量的最優(yōu)控制和管理。因此，如何通過交通信號的最優(yōu)控制來設(shè)計和優(yōu)化城市TSC系統(tǒng)，成為保障交通安全和暢通、增加道路通行效率及其緩解交通擁塞問題的關(guān)鍵所在。
　　本文選擇基于Q-learning算法的單Agent控制體系結(jié)構(gòu)，基于分布式Q-le

2、arning算法的Multi-Agent系統(tǒng)以及Green Light District(GLD)開源仿真平臺進行城市TSC系統(tǒng)優(yōu)化研究，主要做了如下工作:
　　(1)設(shè)計了基于單路口和井字形區(qū)域路口的城市TSC系統(tǒng)Agent框架，模擬城市道路控制。對于城市單路口，通過一個智能Agent實時檢測每個方向的交通流數(shù)據(jù)，交通流數(shù)據(jù)通過模糊邏輯化，輸入設(shè)計的單路口Q-learning決策器，尋得最優(yōu)控制策略。對于區(qū)域交通控制，提出了分布

3、式Q-leaining算法和MAS結(jié)合的優(yōu)化控制方式，給出了相鄰路口Agent協(xié)調(diào)控制模型，實現(xiàn)相鄰路口之間信息共享。
　　(2)解決了Q-learning算法和分布式Q-learning算法對交通環(huán)境狀態(tài)集S、動作策略集A、獎懲函數(shù)R等關(guān)鍵問題。狀態(tài)空間的選擇，設(shè)計用模糊邏輯來計算排隊長度;動作策略集A:增加、保持和減少相位綠燈時間;獎懲函數(shù)R以路口車輛排隊長度作為指標，以車輛排隊長度最小為目的。
　　(3)實現(xiàn)了分布式Q

4、-learning算法在區(qū)域TSC系統(tǒng)優(yōu)化上的運用，解決了區(qū)域信號協(xié)調(diào)控制問題。分布式Q-learning算法和MAS的結(jié)合，實現(xiàn)對城市TSC系統(tǒng)最優(yōu)控制。城市區(qū)域交通網(wǎng)絡(luò)是分布式的多Agent網(wǎng)絡(luò)，建立了基于分布式Q-learning算法的Multi-Agent模型框架，同時給出了分布式Q-learning算法設(shè)計的詳細步驟。最后分析了基于Q-learning算法的單路口城市TSC優(yōu)化和基于分布式Q-learning算法的區(qū)域TSC優(yōu)