基于飛騰平臺的TOE優(yōu)化技術研究與實現(xiàn).pdf

1、隨著諸如云計算、大數(shù)據和物聯(lián)網等趨勢的廣泛興起，數(shù)據流量爆炸式增長，網絡帶寬也隨之快速增長，目前10G以太網已經廣泛普及。怎樣能夠讓處理器能夠快速地捕獲和處理網絡數(shù)據包，仍是目前研究的一個熱點。在飛騰（FT）平臺，傳統(tǒng)TCP/IP協(xié)議棧要占用大量計算和訪存資源，主要表現(xiàn)在中斷上下文切換、協(xié)議處理和數(shù)據拷貝三方面。雖然國產飛騰處理器頻率雖然已經從800HZ到1000HZ，但由于網絡帶寬的增長速度遠高于CPU處理能力的提高，國產飛騰CPU在

2、處理頻繁的網絡事務時會存在以下問題：1）在接收大流量的數(shù)據時，網卡會產生大量的中斷，會造成大量的中斷上下文切換開銷2）頻繁的數(shù)據拷貝(先將接收的數(shù)據包拷貝到內核空間，然后應用程序通過系統(tǒng)調用將數(shù)據再次拷貝到用戶空間進行處理）過程也增加系統(tǒng)總線負載和CPU處理周期；3）傳統(tǒng)的TCP/IP協(xié)議數(shù)據的處理過程比較繁瑣，這需要消耗大量CPU處理能力，在網絡負載較重導致CPU嚴重過載，容易成為系統(tǒng)IO瓶頸。
　　針對目前國產飛騰處理器主頻較

3、低，為了在處理大數(shù)據應用的高速網絡環(huán)境中為了避免繁重的TCP/IP協(xié)議處理開銷造成系統(tǒng)端瓶頸的問題，本文引入了TCP/IP協(xié)議卸載引擎(TOE)技術,把TCP/IP協(xié)議處理卸載到網卡中的協(xié)議卸載引擎上執(zhí)行，來減輕CPU處理網絡IO時的負載，CPU能夠及時處理一些關鍵實時程序，從而減少應用程序延時并提高網絡處理效率。
　　首先，本文研究了TOE技術相關原理，并介紹了TOE技術的實現(xiàn)策略：部分卸載和全卸載。接著介紹了TOE硬件的幾種實

4、現(xiàn)方式：網絡處理器加固件的方式、專用集成電路(ASIC)芯片方式和可編程器件方式，并分析了其優(yōu)缺點，從成本和實現(xiàn)難易程度上來決策，本文采用了部分卸載的TOE網卡硬件。
　　其次，介紹了國產飛騰處理器和實現(xiàn)數(shù)據路徑卸載策略的TOE網卡硬件功能邏輯，鑒于其他平臺現(xiàn)有的實現(xiàn)方式復雜，應用程序可移植性差等問題，對于部分卸載的TOE網卡，本文采用的是嵌入式的TOE軟件架構方案，即在原始軟件協(xié)議棧的基礎上進行修改和功能拓展，并基于飛騰平臺設計

5、了FT-TOE系統(tǒng)軟件，本文在國產飛騰平臺上設計并實現(xiàn)的FT-TOE系統(tǒng)軟件結構比較簡單，實現(xiàn)較方便，主要包括TOE卸載模塊和TOE設備驅動模塊，并將于設備相關性較強的協(xié)議處理的功能代碼大部分轉移到 TOE網卡的驅動程序中來實現(xiàn)，而且對Kyoin-OS網絡協(xié)議棧的改動較小。
　　然后，分析了FT-TOE的連接卸載技術、報文高效傳輸機制、中斷加輪詢接收數(shù)據包(NAPI)等關鍵技術，接著對進行協(xié)議處理過程中涉及到的另外兩個重要開銷：中

6、斷處理與切換開銷和數(shù)據拷貝進行了分析與優(yōu)化。先是從從系統(tǒng)中斷處理的角度出發(fā)，結合國產FT多核處理器的硬件特性，提出了靜態(tài)中斷負載平衡方法，用來提高系統(tǒng)的中斷負載性能，這種靜態(tài)中斷負載均衡調度能夠顯著的均衡網卡的中斷負載。然后在數(shù)據進行處理的過程中對內核緩沖區(qū)到用戶緩緩沖區(qū)的一次拷貝做進一步優(yōu)化，在FT-TOE軟件中實現(xiàn)了零拷貝數(shù)據傳輸技術。
　　最后，對FT-TOE系統(tǒng)進行原型實現(xiàn)及性能測試，然后分別對基于國產飛騰多核處理器的中斷