集群系統(tǒng)中的網(wǎng)絡(luò)性能優(yōu)化方法研究.pdf

1、在高性能的計(jì)算機(jī)集群系統(tǒng)中，采用高速網(wǎng)絡(luò)設(shè)備對(duì)集群中的各個(gè)節(jié)點(diǎn)進(jìn)行互連已成為當(dāng)前集群技術(shù)發(fā)展的主流。網(wǎng)絡(luò)組件是集群系統(tǒng)體系結(jié)構(gòu)的重要組成部分，直接影響了集群系統(tǒng)的各項(xiàng)性能指標(biāo)。另一方面，集群網(wǎng)絡(luò)具有許多明顯不同于一般網(wǎng)絡(luò)的優(yōu)勢特征，例如高帶寬、低延遲、高可靠性等等，如果系統(tǒng)中的網(wǎng)絡(luò)組件不能充分利用這些優(yōu)點(diǎn)，就容易成為系統(tǒng)的瓶頸。因此，針對(duì)高性能集群網(wǎng)絡(luò)的特點(diǎn)，對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化設(shè)計(jì)非常必要。
　　遠(yuǎn)程過程調(diào)用（Remote Proce

2、dure Call，RPC）是一項(xiàng)廣泛用于集群與分布式系統(tǒng)的網(wǎng)絡(luò)組件與通信技術(shù)。然而，當(dāng)傳統(tǒng)的RPC技術(shù)用在基于高速網(wǎng)絡(luò)的集群環(huán)境中時(shí)其性能表現(xiàn)很一般，其主要原因就在于傳統(tǒng)的RPC技術(shù)并沒有充分利用到集群網(wǎng)絡(luò)中所特有的優(yōu)點(diǎn)。仔細(xì)研究了傳統(tǒng)的RPC技術(shù)，研究表明傳統(tǒng)RPC在集群網(wǎng)絡(luò)中性能表現(xiàn)差的主要原因之一是由RPC技術(shù)中的序列化/反序列化操作引起的。因此提出了一種同構(gòu)集群下專用的序列化/反序列化方法——SimpSerial，它能夠減少傳

3、統(tǒng)的序列化/反序列化方法中的數(shù)據(jù)拷貝次數(shù)，以此來大幅度地提升集群網(wǎng)絡(luò)的性能。將SimpSerial在真實(shí)的集群環(huán)境中加以實(shí)現(xiàn)，并進(jìn)行了測試。測試表明此方法能顯著提升集群網(wǎng)絡(luò)的性能，當(dāng)測試中所傳輸?shù)臄?shù)據(jù)塊大于2MB時(shí)，其對(duì)集群網(wǎng)絡(luò)帶寬性能的提升幅度可達(dá)到40％以上。
　　在高性能集群系統(tǒng)中，如果RPC超時(shí)現(xiàn)象頻繁發(fā)生，將會(huì)嚴(yán)重影響集群的整體性能。傳統(tǒng)的自適應(yīng)超時(shí)機(jī)制能動(dòng)態(tài)地調(diào)整超時(shí)值，因此它們被廣泛使用在RPC系統(tǒng)中。然而，傳統(tǒng)的自

4、適應(yīng)超時(shí)機(jī)制也有它們自己的缺點(diǎn)，并且有待于進(jìn)一步的改進(jìn)。通過對(duì)超時(shí)現(xiàn)象發(fā)生時(shí)服務(wù)端與客戶端的具體情況的仔細(xì)分析，發(fā)現(xiàn)傳統(tǒng)的單機(jī)版自適應(yīng)超時(shí)機(jī)制存在兩個(gè)重要的問題，其一是當(dāng)超時(shí)發(fā)生時(shí)，服務(wù)端經(jīng)常會(huì)發(fā)生一種本文稱之為“RPC任務(wù)擁塞”的情形；另一個(gè)問題是超時(shí)值的調(diào)整趨勢為只增不減，因此，超時(shí)值在系統(tǒng)運(yùn)行過程中會(huì)調(diào)整得越來越大。根據(jù)上述分析，提出了一種分區(qū)間的RPC自適應(yīng)超時(shí)機(jī)制，它將超時(shí)值區(qū)間劃分為兩個(gè)不同的子區(qū)間，當(dāng)超時(shí)值位于不同的區(qū)間時(shí)

5、，分別采用了不同的超時(shí)值調(diào)整方法，使系統(tǒng)的RPC超時(shí)值調(diào)整方法達(dá)到更好的調(diào)整精度與自適應(yīng)能力。分區(qū)間的超時(shí)機(jī)制具有更大的超時(shí)值調(diào)整范圍與更快的調(diào)整速度，因此可以在一定程度上解決“RPC任務(wù)擁塞”問題；同時(shí)，在這個(gè)機(jī)制中有一個(gè)新穎的算法，用于當(dāng)超時(shí)值偏大時(shí)可以將其調(diào)整到一個(gè)合理范圍。因此，這個(gè)機(jī)制具有較好的精確度與自適應(yīng)能力。
　　傳輸控制協(xié)議（Transmission Control Protocol，TCP）與遠(yuǎn)程內(nèi)存直接訪問（

6、Remote Direct Memory Access，RDMA）都是集群網(wǎng)絡(luò)中最常用的協(xié)議。早期文獻(xiàn)中的分析認(rèn)為TCP協(xié)議在高速網(wǎng)絡(luò)環(huán)境中容易成為性能瓶頸，并且將主要原因歸結(jié)為TCP協(xié)議在工作過程中存在著多次的內(nèi)存拷貝操作，這導(dǎo)致了整體效率低下以及較多的CPU資源消耗。相比之下，RDMA最主要的優(yōu)勢在于其對(duì)內(nèi)存的單次訪問，因此具有數(shù)據(jù)傳輸速率快、CPU利用率低的優(yōu)點(diǎn)。對(duì)目前的主流集群服務(wù)器平臺(tái)中各種新部件的特點(diǎn)進(jìn)行了分析，并且在此平臺(tái)

7、上對(duì)TCP的性能進(jìn)行了研究。研究表明，TCP的工作效率與性能可以隨著計(jì)算機(jī)體系結(jié)構(gòu)和硬件技術(shù)的發(fā)展而提升。在目前的主流集群服務(wù)器平臺(tái)上，TCP協(xié)議能夠獲得非常好的性能表現(xiàn)。相比之下，RDMA技術(shù)帶來的編程方面的復(fù)雜性、兼容性問題依然嚴(yán)重存在。所以，TCP在集群平臺(tái)上仍然有著廣闊的應(yīng)用與發(fā)展空間。
　　在上述分析基礎(chǔ)上，在Cappella集群系統(tǒng)的開發(fā)過程中設(shè)計(jì)并實(shí)現(xiàn)了相應(yīng)的網(wǎng)絡(luò)中間層。Cappella系統(tǒng)網(wǎng)絡(luò)中間層包含了兩種主要的