基于增強(qiáng)學(xué)習(xí)的內(nèi)存控制器自優(yōu)化技術(shù)研究.pdf

1、如今多核技術(shù)的發(fā)展大大提高了計算機(jī)的運(yùn)算能力，但也愈發(fā)使得內(nèi)存子系統(tǒng)的性能成為計算機(jī)整體性能的瓶頸。如何提高片外DRAM帶寬利用率是實現(xiàn)多核性能存儲關(guān)鍵之一。而內(nèi)存的帶寬利用率與訪存調(diào)度策略息息相關(guān)。傳統(tǒng)的內(nèi)存控制器因為采用固定的訪問調(diào)度策略，因此，沒有根據(jù)以往的調(diào)度結(jié)果來優(yōu)化內(nèi)存訪問性能。這些固定的調(diào)度算法不能適應(yīng)多核系統(tǒng)環(huán)境。
　　內(nèi)存控制器如何利用以往調(diào)度結(jié)果來自優(yōu)化的訪存調(diào)度可以被抽象為這樣的問題：一個代理（內(nèi)存控制器）如

2、何學(xué)習(xí)以往的選擇來做出當(dāng)前的最優(yōu)動作，這與機(jī)器學(xué)習(xí)中的增強(qiáng)學(xué)習(xí)的概念相似?？梢栽O(shè)計一種新穎的，自優(yōu)化的內(nèi)存控制器——它的設(shè)計中運(yùn)用了增強(qiáng)學(xué)習(xí)（reinforcement learing)的思想來彌補(bǔ)以往的內(nèi)存控制器的缺陷。增強(qiáng)學(xué)習(xí)的內(nèi)存控制器能觀察系統(tǒng)的狀態(tài)并能預(yù)估自己的調(diào)度對系統(tǒng)帶來的長期的影響。也就是說：控制器能通過學(xué)習(xí)來優(yōu)化調(diào)度策略以使系統(tǒng)長期的性能得到最大的提高。
　　通過測試結(jié)果表明，在一個運(yùn)行基準(zhǔn)程序的4核處理器上，基