CPU-GPGPU異構(gòu)多核平臺(tái)下適應(yīng)warp調(diào)度特征的LLC預(yù)取機(jī)制.pdf

1、CUDA編程模型的引入大大地推動(dòng)了GPGPU在通用計(jì)算領(lǐng)域的發(fā)展，異構(gòu)CPU和GPU協(xié)同工作，在程序運(yùn)行過(guò)程中，兩者存在著大量的數(shù)據(jù)交互。為了提高雙方的數(shù)據(jù)交換的效率，早期的研究者們提出在CPU和GPU之間設(shè)立共享最后一級(jí)cache，LLC。實(shí)驗(yàn)中我們發(fā)現(xiàn)，很多GPGPU程序的訪存模式呈流式模式，對(duì)于此類程序，LLC的性能會(huì)很差。我們測(cè)試了Rodinia和CUDA sdk中的部分程序，發(fā)現(xiàn)除了數(shù)據(jù)集較小的個(gè)別程序，其他的LLC miss

2、率均達(dá)到30％以上，個(gè)別甚至超過(guò)99％。另外我們利用功能模擬調(diào)節(jié)程序中的LLC miss率后發(fā)現(xiàn)，隨著LLC的hit率的提升，整個(gè)系統(tǒng)的IPC具有較大程度的提高。
　　預(yù)取手段和其他緩存優(yōu)化手段相比可以較大程度地提升LLC的hit率，其效果主要由預(yù)取的準(zhǔn)確度決定。GPGPU中同一kernel下的所有線程均共享同一套指令，線程中的訪存地址僅由kernel中的訪存基址和線程號(hào)決定，因此GPU上的對(duì)訪存地址的預(yù)測(cè)僅需預(yù)測(cè)將要被調(diào)度到的線

3、程的線程號(hào)，這比在CMP上的預(yù)取要精確得多?，F(xiàn)有對(duì)GPGPU的預(yù)取主要集中于線程內(nèi)部的預(yù)取以及跨越線程的預(yù)取，但GPGPU在運(yùn)行過(guò)程中所有的線程是以warp為單位進(jìn)行組織和調(diào)度的，單以線程為單位進(jìn)行預(yù)取的準(zhǔn)確度和效率均不高。
　　本文提出一種能夠適應(yīng)warp調(diào)度特征的預(yù)取策略，WAP(Warp AwarePrefetching)，以warp為單位進(jìn)行預(yù)取可以在運(yùn)行時(shí)使得預(yù)取的地址和程序中warp的地址簇相適應(yīng)，符合GPGPU程序的

4、訪存規(guī)律，有效的降低當(dāng)前的訪存處理延遲。本文將預(yù)取功能模塊分為兩大塊，其一是在流多處理器，SM端的監(jiān)測(cè)以及預(yù)取發(fā)起模塊;其二是全局的預(yù)取仲裁合并模塊。
　　在SM端，首先我們?cè)O(shè)計(jì)了一種線程預(yù)處理器，獲得kernel程序中的訪存點(diǎn)的位置以及訪存點(diǎn)間的時(shí)間間隔。其次為了能夠更好地量化和監(jiān)測(cè)程序運(yùn)行時(shí)warp的狀態(tài)，我們提出使用當(dāng)前活動(dòng)warp比率，CAWR(Current Active Warp Ratio)作為評(píng)判訪存是否擁擠的標(biāo)志

5、，并設(shè)立閾值確定決定當(dāng)前的能否發(fā)起預(yù)取，當(dāng)訪存空閑時(shí)發(fā)出預(yù)取請(qǐng)求，并根據(jù)當(dāng)前的訪存處理延時(shí)以及預(yù)取處理延遲確定預(yù)取的目標(biāo)訪存點(diǎn)。最后為了能更好地適應(yīng)程序的執(zhí)行環(huán)境，我們提出了一種自適應(yīng)的方式有效地確定當(dāng)前的預(yù)取閾值。
　　已有對(duì)GPGPU預(yù)取的工作中發(fā)現(xiàn)GPGPU中由于線程數(shù)量較為龐大，預(yù)取請(qǐng)求極易容易造成訪存端口的堵塞。為了避免這種情況，保證預(yù)取請(qǐng)求不影響程序的原本訪存性能，本文提出在全局設(shè)立預(yù)取器。全局預(yù)取器根據(jù)當(dāng)前訪存的繁忙

6、程度控制向訪存控制器發(fā)出請(qǐng)求的帶寬，并使用一種較為公平的預(yù)取調(diào)度算法，按照盡可能公平的方式調(diào)度已有的預(yù)取請(qǐng)求。另外對(duì)于來(lái)自不同SM但相同地址塊引用的數(shù)據(jù)，預(yù)取器還具備預(yù)取請(qǐng)求歸并機(jī)制，減少發(fā)起預(yù)取請(qǐng)求的數(shù)量。
　　為了驗(yàn)證本文的預(yù)取策略，本文實(shí)現(xiàn)了WAP預(yù)取策略，并與當(dāng)前已有基于多線程的預(yù)取方法MAP進(jìn)行對(duì)比。數(shù)據(jù)表明本文提出的WAP的LLC命中率與MAP相比具有11.8％的性能提升，WAP的IPC與MAP相比具有11.39％的性