面向延遲優(yōu)化的多核處理器Cache數(shù)據(jù)管理機(jī)制研究.pdf

1、半導(dǎo)體工藝水平的不斷提高和集成電路設(shè)計(jì)能力的快速發(fā)展，為多核處理器的誕生提供了必要的孵化環(huán)境并持續(xù)推動(dòng)其設(shè)計(jì)技術(shù)走向成熟。目前，多核處理器憑借其計(jì)算能力較強(qiáng)、設(shè)計(jì)復(fù)雜度較低、可擴(kuò)展性較好等優(yōu)勢(shì)，已經(jīng)廣泛應(yīng)用于商業(yè)服務(wù)器、高性能計(jì)算、個(gè)人電腦、嵌入式系統(tǒng)等領(lǐng)域并且表現(xiàn)出有力的競(jìng)爭(zhēng)優(yōu)勢(shì)。然而，隨著多核計(jì)算能力與片外訪存速度之間差異的不斷增大，“存儲(chǔ)墻”問題已經(jīng)成為嚴(yán)重束縛多核處理器性能提升的關(guān)鍵瓶頸。片上Cache作為彌補(bǔ)處理器和內(nèi)存之間速

2、度差異的中間橋梁組件，是緩解“存儲(chǔ)墻”問題的最佳著眼點(diǎn)和關(guān)鍵突破口。合理組織并充分利用片上Cache資源，設(shè)計(jì)高效的Cache數(shù)據(jù)管理機(jī)制，對(duì)于改善微處理器整體性能至關(guān)重要。隨著片上Cache容量的不斷增加和復(fù)雜片上互連結(jié)構(gòu)的采用，加之應(yīng)用程序訪存特性多樣化的影響，致使多核環(huán)境下大容量Cache設(shè)計(jì)面臨許多新的嚴(yán)峻挑戰(zhàn)，傳統(tǒng)的私有或共享 Cache結(jié)構(gòu)無(wú)法在低失效率和低命中延遲之間進(jìn)行有效權(quán)衡，嚴(yán)重制約訪存系統(tǒng)性能提升。本文針對(duì)微處理器

3、設(shè)計(jì)中的“存儲(chǔ)墻”問題展開研究，在分析私有、共享以及混合Cache結(jié)構(gòu)面臨的挑戰(zhàn)性問題和潛在優(yōu)化空間的基礎(chǔ)上，探索面向延遲優(yōu)化的多核處理器 Cache數(shù)據(jù)管理機(jī)制。
　　本研究主要內(nèi)容包括：⑴針對(duì)多核私有Cache結(jié)構(gòu)面臨的容量失效問題，本文提出一種基于細(xì)粒度偽劃分的核間容量共享機(jī)制CSFP，通過在細(xì)粒度層次為每個(gè)Cache Bank設(shè)置加權(quán)飽和計(jì)數(shù)器陣列來(lái)統(tǒng)計(jì)和預(yù)測(cè)各線程的訪存需求差異情況，控制各個(gè)處理器核在每個(gè)Cache Se

4、t上的私有域與共享域劃分比例，并以此指導(dǎo)各處理器核上的犧牲塊替換、溢出與接收決策，利用智能的核間容量借用機(jī)制來(lái)均衡處理器間訪存需求差異，從而緩解多核私有Cache結(jié)構(gòu)面臨的容量失效問題。在周期精確的體系結(jié)構(gòu)級(jí)全系統(tǒng)模擬器Simics平臺(tái)上，本文對(duì)16核瓦片式結(jié)構(gòu)下的CSFP機(jī)制進(jìn)行了性能評(píng)估與分析，實(shí)驗(yàn)表明，CSFP機(jī)制能夠有效改善多核私有Cache結(jié)構(gòu)的容量失效問題，多線程測(cè)試程序的運(yùn)行時(shí)間平均可以得到大約8.57％的壓縮。⑵針對(duì)多核

5、共享Cache環(huán)境下多線程競(jìng)爭(zhēng)訪問Cache資源導(dǎo)致的沖突失效問題，本文提出一種基于偏轉(zhuǎn)映射的沖突失效隔離機(jī)制IMI-SM，當(dāng)多核片上末級(jí)共享 Cache發(fā)生失效需要從片外存儲(chǔ)器取數(shù)據(jù)時(shí)，如果靜態(tài)目標(biāo) Cache Set中的LRU候選犧牲塊被逐出時(shí)可能導(dǎo)致線程間或線程內(nèi)沖突失效，則啟動(dòng)偏轉(zhuǎn)映射機(jī)制。通過引入專用的沖突隔離緩存區(qū)，或者采用Bank內(nèi)縱向壓力均衡策略來(lái)擴(kuò)展數(shù)據(jù)映射時(shí)的候選目標(biāo)Set選擇范圍，IMI-SW允許將從內(nèi)存取來(lái)的新數(shù)

6、據(jù)塊保存在片上沖突隔離緩存區(qū)或者存儲(chǔ)壓力相對(duì)較小的其它靜態(tài)耦合Cache Set中，以此緩解沖突失效對(duì)共享 Cache片上整體命中率造成的負(fù)面影響。實(shí)驗(yàn)結(jié)果表明，IMI-SM可以顯著減少多核處理器在共享Cache資源時(shí)面臨的沖突失效現(xiàn)象，程序運(yùn)行時(shí)間平均可以降低7.35%左右，因此能夠以較小的硬件代價(jià)獲得較高的訪存性能提升。⑶針對(duì)瓦片式多核處理器分布式共享Cache結(jié)構(gòu)面臨的長(zhǎng)延遲命中問題，本文提出一種增強(qiáng)型選擇性犧牲塊復(fù)制機(jī)制E-VR

7、，在原始犧牲塊復(fù)制操作的基礎(chǔ)上引入候選犧牲塊過濾和目標(biāo)組檢測(cè)機(jī)制，在進(jìn)行犧牲塊復(fù)制操作時(shí)不但考慮其共享模式和讀寫特性，而且從細(xì)粒度層次考慮本地Cache Bank內(nèi)訪存壓力縱向非均衡分布特性，通過減少高代價(jià)復(fù)制操作的發(fā)生概率和擴(kuò)展?fàn)奚鼔K候選存放目標(biāo)Set的選擇范圍，提高復(fù)制操作的性能獲益。實(shí)驗(yàn)結(jié)果表明，E-VR可以將各應(yīng)用程序的運(yùn)行時(shí)間平均降低6.97%左右。E-VR在降低片上命中訪問延遲的同時(shí)，避免對(duì)共享 Cache的全局命中率造成過

8、大負(fù)面影響，能夠在低命中延遲和低失效率之間進(jìn)行動(dòng)態(tài)權(quán)衡，訪存系統(tǒng)性能得到進(jìn)一步改善。⑷面向瓦片式多核分布式Cache的虛擬共享域劃分結(jié)構(gòu)，本文提出將數(shù)據(jù)自適應(yīng)替換、遷移與復(fù)制機(jī)制集成為統(tǒng)一的數(shù)據(jù)管理框架F-RMR。F-RMR不但在數(shù)據(jù)替換時(shí)能夠感知本地目標(biāo)Cache Set中候選犧牲塊的活躍狀態(tài)和片上唯一性，而且在多個(gè)虛擬共享域間進(jìn)行數(shù)據(jù)遷移和復(fù)制決策時(shí)能夠協(xié)同感知命中數(shù)據(jù)的活躍程度與目標(biāo)Cache Set的空閑狀態(tài)。通過替換、遷移與復(fù)