基于強(qiáng)化學(xué)習(xí)的植入式腦機(jī)接口神經(jīng)信息解碼：算法設(shè)計(jì)及應(yīng)用.pdf

1、腦機(jī)接口直接將大腦的運(yùn)動(dòng)信息解析成外部設(shè)備的控制指令，實(shí)現(xiàn)了大腦與外界環(huán)境的直接交互，為殘障患者重建運(yùn)動(dòng)功能提供了一種新的途徑。目前主要的神經(jīng)解碼算法分為基于監(jiān)督學(xué)習(xí)和基于強(qiáng)化學(xué)習(xí)兩大類(lèi)。相比于基于監(jiān)督學(xué)習(xí)的解碼模型，基于強(qiáng)化學(xué)習(xí)的神經(jīng)解碼的特點(diǎn)在于:(1)無(wú)需實(shí)際的用戶(hù)肢體行為數(shù)據(jù);(2)允許用戶(hù)通過(guò)試錯(cuò)的方式學(xué)會(huì)動(dòng)態(tài)地操控外部設(shè)備。這類(lèi)解碼算法可以追蹤到時(shí)變的神經(jīng)活動(dòng)，并實(shí)現(xiàn)用戶(hù)和解碼器的相互適應(yīng)，能夠保持長(zhǎng)期穩(wěn)定的解碼性能。目前，

2、該方向的研究主要集中在離散、簡(jiǎn)單的任務(wù)上。但是，腦機(jī)接口任務(wù)日益復(fù)雜多樣，傳統(tǒng)的強(qiáng)化學(xué)習(xí)算法難以滿(mǎn)足其解碼要求，而尚無(wú)針對(duì)復(fù)雜任務(wù)的強(qiáng)化學(xué)習(xí)解碼算法的相關(guān)研究報(bào)道。
　　本文研究基于強(qiáng)化學(xué)習(xí)的神經(jīng)解碼關(guān)鍵技術(shù)，聚焦于連續(xù)、復(fù)雜任務(wù)中狀態(tài)-動(dòng)作空間大而探索困難，時(shí)間信用分配導(dǎo)致學(xué)習(xí)速度慢，以及神經(jīng)信號(hào)中混有噪聲導(dǎo)致自適應(yīng)解碼性能降低等存在的難點(diǎn)問(wèn)題。針對(duì)上述挑戰(zhàn)，本文采用高效的強(qiáng)化學(xué)習(xí)算法探索復(fù)雜的神經(jīng)狀態(tài)-動(dòng)作空間，重建連續(xù)的運(yùn)動(dòng)

3、軌跡;結(jié)合核自適應(yīng)濾波器理論，設(shè)計(jì)新的解碼算法實(shí)現(xiàn)非線(xiàn)性解碼的全局最優(yōu)解;引入相關(guān)熵抑制噪聲對(duì)自適應(yīng)解碼性能的影響，從而實(shí)現(xiàn)魯棒、穩(wěn)定的神經(jīng)解碼。本文的主要研究?jī)?nèi)容及創(chuàng)新點(diǎn)如下:
　　1.針對(duì)復(fù)雜神經(jīng)狀態(tài)-動(dòng)作空間中探索困難的問(wèn)題，本文提出采用attentiongated reinforcement learning(AGREL)算法預(yù)測(cè)center-out任務(wù)中連續(xù)的2D搖桿軌跡。AGREL利用即時(shí)獎(jiǎng)賞更新參數(shù)而不易受初始值影響

4、，以及softmax策略依據(jù)概率選擇最優(yōu)與次優(yōu)動(dòng)作以避免解碼性能的波動(dòng)。與傳統(tǒng)的Q學(xué)習(xí)算法相比，AGREL將預(yù)測(cè)軌跡和真實(shí)軌跡之間的相關(guān)系數(shù)提高了5.88％，均方誤差則降低了41.66％，平均總目標(biāo)到達(dá)率提高了28.01％。此外，相比于靜態(tài)模型，自適應(yīng)的AGREL保持多數(shù)據(jù)段的解碼精度在85％以上，延長(zhǎng)了腦機(jī)接口系統(tǒng)的使用時(shí)間。
　　2.針對(duì)以往方法只分配時(shí)間信用而導(dǎo)致訓(xùn)練時(shí)間過(guò)長(zhǎng)的問(wèn)題，本文提出空間信用分配，實(shí)現(xiàn)在多物體的復(fù)雜環(huán)

5、境中區(qū)分潛在目標(biāo)。結(jié)合AGREL高效的誤差信號(hào)機(jī)制與核自適應(yīng)濾波器理論，本文首次設(shè)計(jì)了quantized attention gatedreinforcement learning(QAGKRL)算法，實(shí)現(xiàn)非線(xiàn)性神經(jīng)解碼的全局最優(yōu)解。該算法還利用量化方法壓縮神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)以降低計(jì)算復(fù)雜度。與AGREL相比，QAGKRL在避障任務(wù)中的平均成功率顯著提高，保證了解碼的準(zhǔn)確性和穩(wěn)定性。
　　3.針對(duì)由神經(jīng)信號(hào)中噪聲降低解碼精度的問(wèn)題

6、，本文引入最大相關(guān)熵準(zhǔn)則作為AGREL和QAGKRL的優(yōu)化函數(shù)，能夠降低解碼模型對(duì)異常值等噪聲的敏感性，從而提高解碼性能?；谧畲笙嚓P(guān)熵準(zhǔn)則的AGREL和QAGKRL在避障任務(wù)中的平均總成功率分別提高了12.56％和6.08％。
　　綜上所述，本文嘗試解決了基于強(qiáng)化學(xué)習(xí)的腦機(jī)接口中連續(xù)、復(fù)雜任務(wù)的神經(jīng)狀態(tài)-動(dòng)作空間探索困難問(wèn)題、空間信用分配問(wèn)題以及神經(jīng)信號(hào)的降噪問(wèn)題。本文深入探索了一系列基于強(qiáng)化學(xué)習(xí)的解碼算法，并應(yīng)用于復(fù)雜多樣的任