面向用戶體驗(yàn)的文件分發(fā)系統(tǒng)調(diào)度機(jī)制優(yōu)化研究.pdf

1、視頻直播及點(diǎn)播、視頻會(huì)議、軟件下載、游戲更新等實(shí)時(shí)和非實(shí)時(shí)文件分發(fā)服務(wù)已經(jīng)成為互聯(lián)網(wǎng)流量的主要來(lái)源，隨著高清視頻等大容量、高清晰度視頻內(nèi)容的日益豐富，用戶對(duì)實(shí)時(shí)和非實(shí)時(shí)文件分發(fā)服務(wù)的體驗(yàn)質(zhì)量要求越來(lái)越高。如何優(yōu)化文件分發(fā)系統(tǒng)使其更好地滿足用戶體驗(yàn)質(zhì)量要求，是吸引學(xué)術(shù)界和工業(yè)界共同興趣的熱點(diǎn)問(wèn)題。
　　本文基于大規(guī)模實(shí)際運(yùn)營(yíng)的文件分發(fā)系統(tǒng)（PPTV，騰訊旋風(fēng)下載平臺(tái)），對(duì)無(wú)線信道下視頻播放、用戶需求、緩存配置以及云帶寬資源部署等四個(gè)

2、方面進(jìn)行測(cè)量分析和理論研究，發(fā)現(xiàn)現(xiàn)有的資源分發(fā)、配置策略在云端帶寬分配方面未充分考慮云帶寬對(duì)Swarm（即擁有或需要相同資源的用戶群體）的影響，用戶的個(gè)人需求預(yù)測(cè)尚未得到有效解決，F(xiàn)lash Crowd發(fā)生時(shí)云端資源消耗過(guò)高，無(wú)線信道中用戶視頻播放卡頓現(xiàn)象顯著。為此本文分別從用戶端優(yōu)化設(shè)計(jì)、用戶個(gè)人需求預(yù)測(cè)、緩存配置優(yōu)化以及云端帶寬分配這幾個(gè)角度探索改善用戶體驗(yàn)、節(jié)約系統(tǒng)資源的有效方法，并通過(guò)理論分析及實(shí)驗(yàn)仿真驗(yàn)證這些方案的有效性。

3、r>　　本文主要工作和創(chuàng)新點(diǎn)如下:
　　1)用戶端體驗(yàn)優(yōu)化:實(shí)際測(cè)量表明，現(xiàn)有的自適應(yīng)動(dòng)態(tài)碼率實(shí)時(shí)視頻方案，在無(wú)線信道條件下卡頓現(xiàn)象顯著。目前的研究利用歷史知識(shí)和當(dāng)前信道條件調(diào)整視頻碼率切換策略，導(dǎo)致碼率頻繁切換。本文利用無(wú)線信道模型推斷信道未來(lái)的變化，設(shè)計(jì)了基于非確定狀態(tài)決策模型的碼率切換算法，能夠避免頻繁的碼率切換，使用戶獲得最優(yōu)的視頻播放體驗(yàn)，并給出了接近最優(yōu)算法性能的啟發(fā)式方案，最后通過(guò)仿真實(shí)驗(yàn)證實(shí)了算法的有效性。

4、　　2)用戶需求和總體流行度預(yù)測(cè):基于推薦的方法可以精確預(yù)測(cè)用戶未來(lái)需要的資源，但預(yù)測(cè)結(jié)果沒(méi)有時(shí)效性。在電視連續(xù)劇發(fā)布場(chǎng)景下，依賴劇集間的相關(guān)性以及用戶的看劇模式并使用機(jī)器學(xué)習(xí)方法，預(yù)測(cè)用戶未來(lái)一天需要觀看的劇集，該方法具有時(shí)效性，能夠用于資源部署方案設(shè)計(jì)。之后針對(duì)不同用戶類型分別設(shè)計(jì)了相應(yīng)的總體需求量預(yù)測(cè)方法，結(jié)果相比ARIMA算法精度提高12％。
　　3)緩存、用戶資源利用:熱門新文件發(fā)布時(shí)，大量用戶請(qǐng)求文件使云端負(fù)荷過(guò)高。在

5、文件發(fā)布前采用預(yù)分發(fā)策略提前部署文件給用戶，就可以在文件發(fā)布后有效利用P2P來(lái)緩解云端壓力。傳統(tǒng)預(yù)分發(fā)方案只是依據(jù)用戶歷史在線行為以及客戶端性能挑選用戶，幫助文件擴(kuò)散，而不考慮用戶是否需要云端提供的文件。在電視連續(xù)劇發(fā)布場(chǎng)景中，大量用戶看一兩集之后可能棄劇，將文件部署給不需要該文件的用戶會(huì)浪費(fèi)寶貴的云端資源。本文基于用戶需求預(yù)測(cè)，協(xié)同調(diào)度緩存資源和用戶資源，設(shè)計(jì)了最小化云端負(fù)載的前攝式緩存算法，在本文的仿真實(shí)驗(yàn)中發(fā)現(xiàn)它能節(jié)約40％的云端

6、流量消耗。
　　4)用戶群體(Swarm)間的云端帶寬分配:云與P2P協(xié)作的系統(tǒng)內(nèi)，P2P貢獻(xiàn)能力不穩(wěn)定且不同Swarm的P2P貢獻(xiàn)能力不盡相同，使用云端帶寬作為補(bǔ)充可以保障用戶的體驗(yàn)。現(xiàn)有的帶寬分配算法主要集中于直播場(chǎng)景或P2P帶寬的分配，不涉及云端帶寬資源分配對(duì)Swarm內(nèi)用戶下載生命周期以及P2P共享能力的影響。在文章中，基于流模型探討了上述兩個(gè)問(wèn)題，得到了云端帶寬與用戶下載速率的關(guān)系，并在云端帶寬資源受限的前提下提出了Sw