一種基于PPO和圖卷積神經(jīng)網(wǎng)絡(luò)區(qū)域交叉口信號控制方法

基本信息

申請?zhí)?/td> CN202110331958.9 申請日 -
公開（公告）號 CN113299079B 公開（公告）日 2022-06-10
申請公布號 CN113299079B 申請公布日 2022-06-10
分類號 G08G1/07（2006.01）I;G08G1/01（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 信號裝置;
發(fā)明人 王昊;劉曉瀚;董長印;楊朝友 申請（專利權(quán)）人 揚州市法馬智能設(shè)備有限公司
代理機構(gòu) 南京經(jīng)緯專利商標(biāo)代理有限公司 代理人 -
地址 210000江蘇省南京市玄武區(qū)四牌樓2號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于PPO和圖卷積神經(jīng)網(wǎng)絡(luò)區(qū)域交叉口信號控制方法，包括以下步驟：構(gòu)建交叉口協(xié)調(diào)控制區(qū)域并確立強化學(xué)習(xí)的狀態(tài)、動作、獎勵信息和圖卷積神經(jīng)網(wǎng)絡(luò)的特征矩陣；構(gòu)建區(qū)域交叉口分層信號控制模型；構(gòu)建回放經(jīng)驗池，處理和提取訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)；訓(xùn)練區(qū)域交叉口分層信號控制模型；對區(qū)域交叉口進行統(tǒng)籌聯(lián)合控制。本發(fā)明對控制區(qū)域建立多層信號控制模型，下層模型基于PPO算法構(gòu)建多智能體控制模型；上層模型基于圖卷積神經(jīng)網(wǎng)絡(luò)對各個交叉口進行統(tǒng)籌協(xié)調(diào)控制。本發(fā)明通過構(gòu)建兩層控制結(jié)構(gòu)，既減少了單點控制模型的運算負(fù)擔(dān)，又實現(xiàn)了對控制區(qū)域的總體最優(yōu)控制，提高了控制區(qū)域內(nèi)的車輛運行效率。