基于多fpga的片上網(wǎng)絡(luò)模擬平臺設(shè)計和實現(xiàn)

1、<p>　　基于多FPGA的片上網(wǎng)絡(luò)模擬平臺設(shè)計和實現(xiàn)</p><p>　　摘要：針對片上網(wǎng)絡(luò)的設(shè)計和優(yōu)化問題，提出了一種基于多FPGA的片上網(wǎng)絡(luò)模擬平臺結(jié)構(gòu)，用于加速片上網(wǎng)絡(luò)的功能驗證和性能評估.通過層次化設(shè)計和分布式流量管理器等技術(shù)，有效地提高了系統(tǒng)的靈活性，加速了片上網(wǎng)絡(luò)的設(shè)計空間搜索.實驗結(jié)果表明，多FPGA模擬平臺不僅相對于傳統(tǒng)的軟件仿真具有500～10 000倍的加速比，與其他片上網(wǎng)絡(luò)模擬平

2、臺相比也具有明顯的速度優(yōu)勢. </p><p>　　關(guān)鍵詞：現(xiàn)場可編程門陣列（FPGA）；模擬平臺；片上網(wǎng)絡(luò)；軟硬件 </p><p>　　中圖分類號：TN402 文獻(xiàn)標(biāo)識碼：A </p><p>　　隨著應(yīng)用的發(fā)展和芯片制造水平的提高，片上系統(tǒng)單位面積上計算核心的數(shù)量呈現(xiàn)出近似指數(shù)的增長趨勢[1].進(jìn)入65 nm工藝后，片上連線延時的比重迅速上升，甚至超過邏輯延時

3、，這導(dǎo)致基于總線的傳統(tǒng)互連結(jié)構(gòu)無法滿足復(fù)雜系統(tǒng)芯片的設(shè)計需求[2].高性能的系統(tǒng)級芯片強(qiáng)調(diào)良好的邏輯和物理局部性，以降低芯片的全局連線延時.片上網(wǎng)絡(luò)（NetworksonChip）相對于總線具有良好的伸縮性和能量效率，能夠有效地緩解全局連線在深亞微米工藝條件下所引入的延時和功耗等問題，因而被認(rèn)為是一種適合未來多核系統(tǒng)芯片大規(guī)模擴(kuò)展的片上互連和通信結(jié)構(gòu)[3]. </p><p>　　片上網(wǎng)絡(luò)擁有龐大的設(shè)計空間，其研

4、發(fā)周期覆蓋拓?fù)浣Y(jié)構(gòu)、路由算法、交換策略、流控制機(jī)制、服務(wù)質(zhì)量、通信協(xié)議和網(wǎng)絡(luò)接口等多個方面的設(shè)計和實現(xiàn)問題[4].因此如何快速地驗證片上網(wǎng)絡(luò)硬件結(jié)構(gòu)的功能，并準(zhǔn)確地評估其性能和實現(xiàn)開銷成為設(shè)計者面臨的嚴(yán)峻挑戰(zhàn).基于FPGA的硬件模擬技術(shù)[5-7]相對于典型的軟件仿真技術(shù)[8-9]具有明顯的速度優(yōu)勢，尤其適合大規(guī)模片上網(wǎng)絡(luò)設(shè)計空間的深度搜索. </p><p>　　現(xiàn)有的片上網(wǎng)絡(luò)FPGA模擬平臺大多采用片上微處理器

5、，配合專用的硬件功能單元，為目標(biāo)網(wǎng)絡(luò)產(chǎn)生模擬環(huán)境中所需要的各種流量模型[5].這種方法實現(xiàn)復(fù)雜，硬件資源開銷較大，且模擬平臺的性能往往受到流量模型的制約[6]，缺乏設(shè)計和移植的靈活性.針對這一點，本文提出并實現(xiàn)了一種基于多FPGA的高性能片上網(wǎng)絡(luò)模擬平臺結(jié)構(gòu)，采用了層次化設(shè)計和軟件可重構(gòu)的分布式流量管理器等技術(shù)，降低了系統(tǒng)硬件設(shè)計的復(fù)雜度，減小了流量管理系統(tǒng)與片上網(wǎng)絡(luò)內(nèi)核的耦合度，大大提高了片上網(wǎng)絡(luò)功能驗證和性能評估的靈活性. <

6、/p><p>　　湖南大學(xué)學(xué)報（自然科學(xué)版）2013年 </p><p>　　第6期趙淳等：基于多FPGA的片上網(wǎng)絡(luò)模擬平臺設(shè)計和實現(xiàn) </p><p>　　1 片上網(wǎng)絡(luò)模擬平臺 </p><p>　　片上網(wǎng)絡(luò)模擬平臺的系統(tǒng)結(jié)構(gòu)框架如圖1所示，包括上位機(jī)和基于多FPGA的原型驗證引擎兩大部分，兩者之間可以通過PCIe，Ethernet等接口實現(xiàn)高

7、速的數(shù)據(jù)交換.模擬平臺自頂向下可以劃分為系統(tǒng)軟件層、軟/硬件接口層和硬件結(jié)構(gòu)層3個抽象層次，為結(jié)構(gòu)設(shè)計者提供一套完整的多目標(biāo)、自動化片上網(wǎng)絡(luò)功能驗證和性能評估環(huán)境. </p><p>　　硬件結(jié)構(gòu)層主要包括多片多種形式互連（普通單端、LVDS和千兆級高速串行總線等）的大容量FPGA芯片，為系統(tǒng)中的硬件功能單元提供充足的實現(xiàn)空間.完整的片上網(wǎng)絡(luò)硬件原型包括網(wǎng)絡(luò)內(nèi)核、片間網(wǎng)絡(luò)接口、分布式片上流量管理器和中央控制器等模

8、塊.用戶可以通過每顆FPGA芯片上實現(xiàn)的中央控制器，利用系統(tǒng)應(yīng)用層的軟件服務(wù)，直接對流量管理器進(jìn)行讀/寫操作，完成對其功能的軟重構(gòu).軟/硬件接口層由設(shè)備（PCIe、Ethernet）驅(qū)動程序構(gòu)成，為上層軟件提供了一組可擴(kuò)展的專用API，將上層的軟件服務(wù)映射為對底層硬件的訪問操作，保證系統(tǒng)軟件層和硬件結(jié)構(gòu)層之間的正確交互.系統(tǒng)應(yīng)用層包括在上位機(jī)運行的基于高級語言（SystemC）的仿真引擎[10]和基于腳本語言的控制引擎.其中仿真引擎用于

9、產(chǎn)生下載到流量管理器的模型信息，以及分析處理由流量管理器讀回的統(tǒng)計信息；控制引擎則用于控制整個模擬流程，協(xié)調(diào)和管理各部分系統(tǒng)應(yīng)用軟件功能，以及發(fā)起和終止用戶對底層硬件的訪問操作等. </p><p>　　2流量管理器軟/硬件實現(xiàn) </p><p>　　在片上網(wǎng)絡(luò)的功能驗證和性能評估過程中，流量的產(chǎn)生、收集和分析處理一直都是設(shè)計者所面臨的最棘手的問題.如何設(shè)計結(jié)構(gòu)簡單，靈活度高的片上流量管理

10、器，以實現(xiàn)對片上網(wǎng)絡(luò)全面的功能覆蓋和大范圍的設(shè)計空間搜索，成為整個模擬平臺的設(shè)計重點和難點.為了提高平臺的效率和靈活性，避免網(wǎng)表文件的反復(fù)生成和下載，本文設(shè)計了軟件可重構(gòu)的分布式片上流量管理器，通過軟件配置和控制指令解析的方式為片上網(wǎng)絡(luò)提供豐富的流量模型. </p><p>　　2.1流量管理器和中央控制器 </p><p>　　流量管理器作為片上網(wǎng)絡(luò)的終端功能單元，模擬實際系統(tǒng)中的計算資

11、源節(jié)點，按照一定的時間和空間分布規(guī)律產(chǎn)生并向網(wǎng)絡(luò)注入數(shù)據(jù)，同時接收并校驗由其他終端發(fā)往本地的數(shù)據(jù).流量管理器包括兩組單向的總線接口.其中用戶接口用于連接片上網(wǎng)絡(luò)中央控制器，為用戶提供“控制指令”的下載和“狀態(tài)數(shù)據(jù)”回傳服務(wù)，接口滿足簡單的存儲器讀寫規(guī)范.系統(tǒng)接口用于連接路由節(jié)點，接口滿足片上網(wǎng)絡(luò)物理鏈路的通信規(guī)范.每個路由節(jié)點可以根據(jù)其空閑物理鏈路的數(shù)量連接一個或多個流量管理器.流量管理器內(nèi)部用于存儲控制指令和狀態(tài)數(shù)據(jù)的存儲空間被線性地

12、映射到64位地址所覆蓋的空間范圍內(nèi)，允許系統(tǒng)軟件層以直接映射的方式對其進(jìn)行訪問.整個硬件系統(tǒng)結(jié)構(gòu)如圖2所示. </p><p>　　流量管理器發(fā)送和接收通道的結(jié)構(gòu)如圖3所示，其結(jié)構(gòu)劃分為發(fā)送通道和接收通道，分別處理網(wǎng)絡(luò)通信事務(wù)的發(fā)送和接收.其中發(fā)送通道由一塊用戶只寫、網(wǎng)絡(luò)只讀的指令存儲器和一個發(fā)送控制狀態(tài)機(jī)構(gòu)成.指令存儲器的每一項存儲一條流量控制指令，對應(yīng)一項網(wǎng)絡(luò)發(fā)送事務(wù)，其內(nèi)容由目標(biāo)地址、事務(wù)類型、負(fù)載長度、事

13、務(wù)編號、發(fā)送時間等字段構(gòu)成.發(fā)送控制狀態(tài)機(jī)每次從指令存儲器中讀出一條流量控制指令，對其進(jìn)行解析并完成一個完整網(wǎng)絡(luò)數(shù)據(jù)包的重建，同時在其結(jié)尾添加校驗信息，在流控機(jī)制的約束下，將數(shù)據(jù)包有序地注入到片上網(wǎng)絡(luò)中.接收通道由一塊用戶只讀、網(wǎng)絡(luò)只寫的數(shù)據(jù)存儲器和一個接收控制狀態(tài)機(jī)構(gòu)成.當(dāng)流量管理器接收到一個來自其他終端的網(wǎng)絡(luò)數(shù)據(jù)包時，接收控制狀態(tài)機(jī)首先對整個數(shù)據(jù)包的內(nèi)容進(jìn)行解析和校驗，從中還原出其基本控制信息如源地址、事務(wù)類型、負(fù)載長度和事務(wù)編號等