異構(gòu)網(wǎng)絡(luò)垂直切換決策研究.pdf

1、未來的移動(dòng)通信環(huán)境將包括各種具有不同的傳輸速率、覆蓋范圍、系統(tǒng)容量及服務(wù)水平的無線接入網(wǎng)絡(luò)。為了充分利用不同接入網(wǎng)絡(luò)的特點(diǎn)，向用戶提供無處不在的服務(wù)，就需要實(shí)現(xiàn)異構(gòu)網(wǎng)絡(luò)之間的協(xié)作和融合。而垂直切換是異構(gòu)網(wǎng)絡(luò)相互融合的基礎(chǔ)。在垂直切換過程中，切換判決是一個(gè)非常重要的環(huán)節(jié)，直接決定切換性能。因此，網(wǎng)絡(luò)間的切換決策算法研究尤為重要。
　　 本論文首先分析了異構(gòu)網(wǎng)絡(luò)環(huán)境下觸發(fā)垂直切換的原因，然后總結(jié)了當(dāng)前國內(nèi)外所進(jìn)行的異構(gòu)網(wǎng)絡(luò)垂直切換算

2、法，并分析比較了它們的優(yōu)缺點(diǎn)，最后提出一種基于馬爾可夫決策過程理論的垂直切換決策算法。
　　 馬爾可夫決策過程是研究一類隨機(jī)序貫決策問題的理論。我們首先將異構(gòu)網(wǎng)絡(luò)場景按照馬爾可夫決策過程的五重組構(gòu)建成離散時(shí)間折扣馬爾可夫決策模型，然后采用動(dòng)態(tài)規(guī)劃算法求解該模型，動(dòng)態(tài)規(guī)劃算法包括策略迭代法和價(jià)值迭代法，通過最大化所有可能狀態(tài)的準(zhǔn)則函數(shù)值來獲取最佳策略。
　　 由于該模型的轉(zhuǎn)移概率未知，采用動(dòng)態(tài)規(guī)劃算法勢必會(huì)造成一定的誤差，

3、因此我們又引入強(qiáng)化學(xué)習(xí)算法的Q學(xué)習(xí)法求解該馬爾可夫決策過程模型，Q學(xué)習(xí)法根據(jù)終端所收到的關(guān)于某行為執(zhí)行的報(bào)酬和當(dāng)前狀態(tài)值的估計(jì)來對行為的結(jié)果進(jìn)行不斷的評估，最終得到最佳策略。
　　 最后，我們將提出的基于馬爾可夫決策過程理論的垂直切換決策算法應(yīng)用于UMTS和、WLAN這兩個(gè)網(wǎng)絡(luò)間的切換判決。本文考察了多媒體應(yīng)用、會(huì)話類業(yè)務(wù)、網(wǎng)頁瀏覽三種應(yīng)用場景，通過對這三個(gè)應(yīng)用場景的仿真分析，我們可以看出該算法能夠有效地綜合評價(jià)候選網(wǎng)絡(luò)的性能，