基于多核-眾核體系結構構建高性能網絡系統(tǒng)的研究.pdf

1、大數(shù)據(jù)時代，急劇增長的網絡速度和數(shù)據(jù)流量令當今各種網絡設備不堪重負。更糟糕的是，隨著網絡應用的日趨復雜，網絡系統(tǒng)的處理任務正從簡單的包轉發(fā)、包過濾演變到深度數(shù)據(jù)包檢查、網絡異常檢測、計算密集處理（加/解密、壓縮/解壓縮）、數(shù)據(jù)緩存等復雜功能，然而目前主要依靠專用硬件（如ASIC、網絡處理器）提供處理能力的網絡設備卻面臨著靈活性差和開發(fā)周期長的問題。
　　隨著通用多核、眾核處理器令人矚目的發(fā)展，處理器的計算能力迅速提高，利用通用處理

2、器開發(fā)靈活性好和性能高的網絡設備成為工業(yè)界和學術界十分感興趣的研究課題。然而在通用計算平臺上實現(xiàn)高性能網絡系統(tǒng)面臨許多困難和挑戰(zhàn)，其中主要的一些困難包括:通用操作系統(tǒng)對高速網絡處理的支持能力較差，網絡程序的并行化方法沒有先例可循，高速網絡流本質上不具備能夠有效利用CPU cache的數(shù)據(jù)局部性，適合GPU大規(guī)模計算的數(shù)據(jù)并行性并不是顯而易見的，建立在批處理之上的并行計算需要平衡吞吐量和處理延遲的矛盾，等等。
　　本論文以若干個要求

3、高吞吐、低延遲、高連接數(shù)的網絡系統(tǒng)作為研究對象，研究基于通用多核/眾核處理器構建高性能網絡系統(tǒng)的關鍵技術，就以上問題給出了我們的解決方案，最終綜合運用各種系統(tǒng)優(yōu)化技術構建了實際可用的高性能網絡系統(tǒng)。本文的主要貢獻和創(chuàng)新點如下：
　　1.針對目前缺少可定制的、高性能的應用層協(xié)議解析器的問題，提出了基于FLEX詞法分析器構建可定制應用層協(xié)議解析器的方法，并在多核處理器上實現(xiàn)了并行化的協(xié)議解析器框架，利用該框架非常方便地實現(xiàn)了高性能的H

4、TTP協(xié)議解析器和FIX協(xié)議解析器。
　　2.針對目前的協(xié)議棧在大規(guī)模連接下的低效問題，提出了一種新穎的TCP查找數(shù)據(jù)結構，基于該查找結構的并行化協(xié)議棧實現(xiàn)首次在通用處理器上實現(xiàn)了10Gbps的吞吐量和一百萬條并發(fā)TCP連接的支持能力。
　　3.針對GPU處理難以保證延遲的問題，提出了以GPU為中心的實時調度策略和并行化框架，并基于該框架實現(xiàn)了首個利用GPU加速的實時網絡流處理系統(tǒng)--SRTP反向代理，可以滿足高速視頻網站對