超算系統(tǒng)的異構(gòu)網(wǎng)絡(luò)互連方法研究與實(shí)現(xiàn).pdf

1、自提出以來(lái)，Infiniband技術(shù)在高性能計(jì)算和存儲(chǔ)領(lǐng)域得到了廣泛的發(fā)展和應(yīng)用，并迅速成為了超級(jí)計(jì)算機(jī)系統(tǒng)互連技術(shù)的主流。然而，云計(jì)算技術(shù)的飛速發(fā)展和多核處理器的廣泛應(yīng)用，對(duì)超級(jí)計(jì)算機(jī)系統(tǒng)的發(fā)展帶來(lái)了巨大沖擊。因此為進(jìn)一步拓展超級(jí)計(jì)算機(jī)系統(tǒng)的應(yīng)用范圍，充分利用超級(jí)計(jì)算機(jī)系統(tǒng)的強(qiáng)大能力，對(duì)云計(jì)算的支持便成為了超級(jí)計(jì)算機(jī)系統(tǒng)發(fā)展的必然趨勢(shì)。云計(jì)算平臺(tái)通常依托以太網(wǎng)向眾多互聯(lián)網(wǎng)用戶提供云計(jì)算服務(wù)，因此實(shí)現(xiàn)Infiniband網(wǎng)絡(luò)和以太網(wǎng)的互

2、連互通是實(shí)現(xiàn)超級(jí)計(jì)算機(jī)系統(tǒng)支持云計(jì)算必須解決的關(guān)鍵問(wèn)題。另外，多核處理器已成為構(gòu)建超級(jí)計(jì)算機(jī)系統(tǒng)的主流處理器，因此提供一個(gè)良好的報(bào)文并行處理模型，是充分發(fā)揮多核處理器的性能優(yōu)勢(shì)，實(shí)現(xiàn)Infiniband網(wǎng)絡(luò)和以太網(wǎng)高速互連互通的重要保證。
　　Infiniband網(wǎng)絡(luò)和以太網(wǎng)屬于異構(gòu)網(wǎng)絡(luò)，在協(xié)議數(shù)據(jù)報(bào)文格式、通信地址類型、傳輸機(jī)制、報(bào)文處理方式等多方面具有較大差異，同時(shí)多核處理器的廣泛應(yīng)用，對(duì)其互連互通的實(shí)現(xiàn)也帶來(lái)了新的挑戰(zhàn)。針對(duì)

3、上述問(wèn)題和挑戰(zhàn)，通過(guò)對(duì)已有互連解決方案進(jìn)行研究，本文提出了一種基于通用多核處理器的可擴(kuò)展異構(gòu)網(wǎng)絡(luò)互連模型SHIL，并對(duì)SHIL模型的關(guān)鍵技術(shù)進(jìn)行研究。本文的主要工作和創(chuàng)新點(diǎn)包括：
　?。?）在研究現(xiàn)有異構(gòu)網(wǎng)絡(luò)互連解決方案的基礎(chǔ)上，提出了可擴(kuò)展異構(gòu)網(wǎng)絡(luò)互連模型SHIL。該模型充分利用通用多核處理器的并發(fā)處理能力，由多協(xié)議網(wǎng)關(guān)采用并行處理技術(shù)完成異構(gòu)網(wǎng)絡(luò)之間的協(xié)議轉(zhuǎn)換和報(bào)文轉(zhuǎn)發(fā)任務(wù)，以較低的成本實(shí)現(xiàn)異構(gòu)網(wǎng)絡(luò)間的高速互連互通。同時(shí)，模塊

4、化動(dòng)態(tài)加載方式，使得該模型具有良好的可擴(kuò)展性和靈活性，可以很容易的實(shí)現(xiàn)與新的異構(gòu)網(wǎng)絡(luò)之間的互連互通。
　　（2）以以太網(wǎng)和Infiniband網(wǎng)絡(luò)的互連為基礎(chǔ)，對(duì)報(bào)文封裝技術(shù)、仿真網(wǎng)絡(luò)管理控制、通信地址映射轉(zhuǎn)換技術(shù)、并行處理技術(shù)等SHIL模型的關(guān)鍵技術(shù)進(jìn)行研究。提出了仿真網(wǎng)絡(luò)控制協(xié)議、兩級(jí)地址管理機(jī)制和基于通用多核處理器的并行收發(fā)機(jī)制，優(yōu)化了異構(gòu)網(wǎng)絡(luò)間的通信性能，提高了異構(gòu)網(wǎng)絡(luò)的協(xié)議轉(zhuǎn)換處理效率。
　?。?）設(shè)計(jì)并實(shí)現(xiàn)了 E

5、IG網(wǎng)關(guān)原型系統(tǒng)，并基于 EIG網(wǎng)關(guān)原型系統(tǒng)搭建了Infiniband網(wǎng)絡(luò)和以太網(wǎng)互連的測(cè)試環(huán)境，對(duì)以太網(wǎng)和 Infiniband網(wǎng)絡(luò)之間的通信帶寬和文件傳輸性能進(jìn)行了測(cè)試。實(shí)驗(yàn)測(cè)試結(jié)果表明基于 EIG網(wǎng)關(guān)原型系統(tǒng)實(shí)現(xiàn)的Infiniband網(wǎng)絡(luò)和以太網(wǎng)互連網(wǎng)絡(luò)具有較高的通信帶寬和較好的文件傳輸性能。
　　綜上所述，本文針對(duì)超級(jí)計(jì)算機(jī)系統(tǒng)中異構(gòu)網(wǎng)絡(luò)互連互通的并行處理問(wèn)題，提出的可擴(kuò)展異構(gòu)網(wǎng)絡(luò)互連模型——SHIL模型，基于報(bào)文封裝的透