基于NUMA架構(gòu)的多線程程序性能和能耗研究.pdf

1、在云計(jì)算環(huán)境下，非一致性內(nèi)存訪問(wèn)NUMA（Non-Uniform Memory Access）架構(gòu)運(yùn)用的越來(lái)越廣泛。當(dāng)單線程多任務(wù)的程序運(yùn)行在 NUMA系統(tǒng)上時(shí)，會(huì)遇到數(shù)據(jù)本地性和共享資源沖突兩個(gè)問(wèn)題。而當(dāng)多線程程序運(yùn)行在 NUMA系統(tǒng)上時(shí)，會(huì)使上述的兩個(gè)問(wèn)題變得更加復(fù)雜：1）多線程程序的共享數(shù)據(jù)會(huì)導(dǎo)致不同節(jié)點(diǎn)之間產(chǎn)生遠(yuǎn)端訪問(wèn)，破壞NUMA系統(tǒng)本地性；2）當(dāng)多個(gè)線程同時(shí)讀取同一個(gè)NUMA節(jié)點(diǎn)上的內(nèi)存數(shù)據(jù)時(shí)，會(huì)競(jìng)爭(zhēng)該節(jié)點(diǎn)上的共享資源，導(dǎo)致

2、嚴(yán)重的緩存以及互聯(lián)總線沖突。另外，多線程程序還會(huì)帶來(lái)關(guān)鍵線程的問(wèn)題。具有更多遠(yuǎn)端內(nèi)存訪問(wèn)的線程成為系統(tǒng)中的關(guān)鍵線程，這些關(guān)鍵線程會(huì)影響整個(gè)程序的性能并增加程序運(yùn)行期間的能量消耗。以往的研究主要關(guān)注提升NUMA系統(tǒng)的性能，很少考慮節(jié)省NUMA系統(tǒng)的能耗。圍繞上述若干問(wèn)題，針對(duì)“基于 NUMA架構(gòu)的多線程程序性能和能耗研究”課題，開(kāi)展了以下四個(gè)方面的研究：
　　針對(duì) NUMA系統(tǒng)中出現(xiàn)的內(nèi)存訪問(wèn)延遲過(guò)高的現(xiàn)象，提供給程序員一個(gè)工具檢測(cè)

3、并分析 NUMA系統(tǒng)中的性能瓶頸。通過(guò)分析系統(tǒng)中的延遲信息，該工具能做出三種判斷：1）如果共享數(shù)據(jù)的訪問(wèn)延遲要高于私有數(shù)據(jù)的訪問(wèn)延遲，那么系統(tǒng)中的共享數(shù)據(jù)會(huì)導(dǎo)致較大數(shù)目的遠(yuǎn)端訪問(wèn)；2）如果系統(tǒng)中存在異常高的內(nèi)存訪問(wèn)延遲，那么系統(tǒng)中很有可能發(fā)生共享資源沖突；3）如果各線程之間的遠(yuǎn)端內(nèi)存訪問(wèn)數(shù)目差異較大，那么遠(yuǎn)端內(nèi)存訪問(wèn)數(shù)目最多的線程會(huì)成為影響整個(gè)程序性能的關(guān)鍵線程。在檢測(cè)并分析出這些性能瓶頸之后，采用簡(jiǎn)便和通用的 NUMA系統(tǒng)優(yōu)化技術(shù)能夠

4、提升多線程程序的性能。
　　針對(duì)關(guān)鍵線程導(dǎo)致 NUMA系統(tǒng)性能下降的現(xiàn)象，提出一種對(duì)稱式調(diào)度機(jī)制來(lái)均衡多線程之間的遠(yuǎn)端內(nèi)存訪問(wèn)數(shù)目。在 NUMA環(huán)境中，程序數(shù)據(jù)對(duì)于某些線程來(lái)說(shuō)是本地?cái)?shù)據(jù)，對(duì)于其他線程來(lái)說(shuō)則是遠(yuǎn)端數(shù)據(jù)。具有遠(yuǎn)端內(nèi)存訪問(wèn)較多的線程會(huì)比其他線程運(yùn)行地更慢，成為影響整個(gè)多線程程序性能的關(guān)鍵線程。通過(guò)對(duì)稱式線程調(diào)度機(jī)制，將線程對(duì)稱地匹配到所有的處理器節(jié)點(diǎn)上，可以平衡所有線程的遠(yuǎn)端內(nèi)存訪問(wèn)次數(shù)，使每個(gè)線程具有相似的本地和遠(yuǎn)端

5、數(shù)據(jù)訪問(wèn)數(shù)目。這樣，所有的線程幾乎會(huì)同時(shí)達(dá)到線程同步點(diǎn)，避免關(guān)鍵線程拖累性能的情況發(fā)生。
　　針對(duì)多線程程序在 NUMA系統(tǒng)上運(yùn)行時(shí)性能和能耗的關(guān)系，提出一個(gè)性能提升和能耗增長(zhǎng)的線性負(fù)相關(guān)性模型。在模型中分別考慮以下兩種假設(shè)：實(shí)際加速比趨近于常量，以及實(shí)際加速比趨近于線性加速比?；谛阅芎湍芎闹g關(guān)系，可以指導(dǎo)NUMA系統(tǒng)進(jìn)行動(dòng)態(tài)調(diào)優(yōu)：根據(jù)多線程程序性能可擴(kuò)展性的好壞，增加/減少該程序所使用的節(jié)點(diǎn)數(shù)，可以在滿足能耗預(yù)算/性能要求前

6、提下提升性能或者節(jié)省能耗。進(jìn)一步研究發(fā)現(xiàn)，影響性能和能耗之間關(guān)系的因素包括：遠(yuǎn)端內(nèi)存訪問(wèn)開(kāi)銷、線程間同步開(kāi)銷和負(fù)載非均衡開(kāi)銷。其中，由關(guān)鍵和非關(guān)鍵線程完成時(shí)間不一致引起的同步開(kāi)銷是導(dǎo)致程序性能/能耗可擴(kuò)展性變差的主要原因之一。
　　針對(duì) NUMA系統(tǒng)上關(guān)鍵線程和非關(guān)鍵線程的完成時(shí)間不同，提出一種動(dòng)態(tài)頻率調(diào)整策略來(lái)降低整個(gè)系統(tǒng)的能耗。在 NUMA系統(tǒng)中，關(guān)鍵線程需要訪問(wèn)更多的遠(yuǎn)端內(nèi)存，運(yùn)行時(shí)間比非關(guān)鍵線程更長(zhǎng)。因此，程序的執(zhí)行時(shí)間是