基于改進(jìn)Q學(xué)習(xí)的認(rèn)知無(wú)線網(wǎng)絡(luò)動(dòng)態(tài)頻譜接入算法研究.pdf

1、作為一種智能無(wú)線通信網(wǎng)絡(luò)，認(rèn)知無(wú)線網(wǎng)絡(luò)采用認(rèn)知無(wú)線電技術(shù)允許認(rèn)知用戶(hù)以一定方式使用授權(quán)頻段，從而提高頻譜利用率。認(rèn)知無(wú)線網(wǎng)絡(luò)中的動(dòng)態(tài)頻譜接入(DSA)問(wèn)題是研究認(rèn)知無(wú)線網(wǎng)絡(luò)的核心問(wèn)題之一，它主要關(guān)注認(rèn)知用戶(hù)如何合理高效地在動(dòng)態(tài)變化的環(huán)境中使用授權(quán)頻段。鑒于增強(qiáng)學(xué)習(xí)中 Q學(xué)習(xí)算法的動(dòng)態(tài)自主學(xué)習(xí)特性和易實(shí)現(xiàn)性，本文將多智能體Q學(xué)習(xí)(MAQL)方法應(yīng)用到認(rèn)知無(wú)線網(wǎng)絡(luò)的動(dòng)態(tài)頻譜接入算法中，提出了適用于不同接入方式下的改進(jìn) Q學(xué)習(xí)動(dòng)態(tài)頻譜接入算法

2、。
　　第一，介紹和分析了認(rèn)知無(wú)線網(wǎng)絡(luò)中動(dòng)態(tài)頻譜接入理論與模型，并給出 Q學(xué)習(xí)理論和方法。然后將協(xié)作多智能體 Q學(xué)習(xí)方法映射到認(rèn)知無(wú)線網(wǎng)絡(luò)的動(dòng)態(tài)頻譜接入算法中，同時(shí)提出相應(yīng)的算法框架。
　　第二，在現(xiàn)有的基于貪心策略的多智能體 Q學(xué)習(xí)方法基礎(chǔ)上，先后提出了針對(duì)認(rèn)知用戶(hù)共享空閑信道和獨(dú)占空閑信道兩種接入方式下的動(dòng)態(tài)頻譜接入算法：基于認(rèn)知用戶(hù)共享空閑信道的協(xié)作?-Greedy_MAQL DSA算法和基于認(rèn)知用戶(hù)獨(dú)占空閑信道的協(xié)作

3、?-Greedy_MAQL DSA算法。仿真結(jié)果表明這兩種算法能夠有效地提高認(rèn)知用戶(hù)接入公平性，增加認(rèn)知系統(tǒng)的和容量。
　　第三，為了平衡學(xué)習(xí)過(guò)程中探索和擴(kuò)張的關(guān)系，本文將現(xiàn)有的基于模擬退火的單智能體Q學(xué)習(xí)算法擴(kuò)展到多智能體Q學(xué)習(xí)，提出了一種改進(jìn)的Q學(xué)習(xí)算法：SA_MAQL。根據(jù)此算法，進(jìn)一步提出了兩種動(dòng)態(tài)頻譜接入算法：基于認(rèn)知用戶(hù)共享空閑信道的協(xié)作SA_MAQL DSA算法和基于認(rèn)知用戶(hù)獨(dú)占空閑信道的協(xié)作SA_MAQL DSA算