面向有狀態(tài)應用的并行系統(tǒng)設計研究.pdf

1、在過去十年里,機群系統(tǒng)得到了巨大的發(fā)展.機群系統(tǒng)之所以能得到人們的青睞,是因為它的諸多優(yōu)良特性,包括使用簡單、高可用、可擴展和高性價比.由于這些本質特性,使機群系統(tǒng)能滿足計算機網(wǎng)和電信網(wǎng)中信息系統(tǒng)所必須的高可用、高性能和可擴展要求,所以可以看到有越來越多的信息系統(tǒng)在使用機群系統(tǒng)作為它們的硬件平臺,機群系統(tǒng)與信息系統(tǒng)儼然結合在一起了.而有狀態(tài)的信息系統(tǒng),又是所有信息系統(tǒng)中使用機群系統(tǒng)較典型的一個,這些有狀態(tài)的信息系統(tǒng)的共有特點是,系統(tǒng)要維

2、護大量的數(shù)據(jù),數(shù)據(jù)以一定的單元組織,每個單元相對獨立;系統(tǒng)的典型操作是針對一個數(shù)據(jù)單元,要支持大量的這種并發(fā)操作.但是設計者在用機群系統(tǒng)為有狀態(tài)的應用進行設計時,會碰到許多問題.為所有這些問題提出解決方案,每個解決方案又能滿足指標要求,各解決方案之間不抵觸,需要很高的技巧.論文的主要目的就是為了緩解設計者在這方面的困難. 論文首先討論了負載均衡問題.輪循策略是并行系統(tǒng)中常見的負載均衡策略,而其在有狀態(tài)的應用中的使用和相應的性能表現(xiàn),還沒

3、有較詳細的研究和討論,作者對此進行了研究.通過綜合排隊論和概率論理論,提出并建立了分析該問題的數(shù)學模型,通過分析和仿真實驗得到:系統(tǒng)的性能,即每個節(jié)點的吞吐量的利用率和平均響應時間伸長率,都主要取決于請求到達速率與請求服務速率之比,而受節(jié)點數(shù)和并發(fā)請求源數(shù)的影響很小;系統(tǒng)在處理快速請求源時,系統(tǒng)的每個節(jié)點的平均吞吐量會有較大的下降,而平均響應時間上升較少;單節(jié)點平均吞吐量只能達到最大值的70﹪左右,而平均響應時間上升不超過原請求服務時間

4、的2倍;系統(tǒng)在處理慢速請求源時,系統(tǒng)的每個節(jié)點平均吞吐量下降不明顯,而平均響應時間上升劇烈;單節(jié)點平均吞吐量能達到最大值的90﹪以上,而平均響應時間上升超過原請求服務時間的9倍以上.該研究的重要意義在于,所提出的數(shù)學模型和分析方法具有一定的通用性,也適用于分析其他負載均衡策略在有狀態(tài)應用中的性能;研究的結果還表明,采用輪循策略對有狀態(tài)的應用進行負載均衡,需考慮不同的應用場合和相應應用的服務要求,因為在不同的應用場合下系統(tǒng)的性能有顯著的區(qū)

5、別. 針對分布式均衡策略有擴展性好,可用性好的優(yōu)點,論文對分布式均衡策略進行了比較研究.考慮到分布式均衡策略的主要問題是各節(jié)點的決策一致性問題,著重比較了三個常見策略最小法、權重法和隨機法的性能.通過建立相應的仿真模型,得到如下結論:權重法可以較好地協(xié)調各節(jié)點的決策,其性能優(yōu)于最小法;當前臺節(jié)點所擁有的后臺節(jié)點的負載情況嚴重失真時,隨機法表現(xiàn)出的性能優(yōu)于其它兩個.該研究的意義在于,指出了在分布式均衡策略中,通常被認為最優(yōu)的最小法

6、并不一定能給出最理想的性能,而通常不被認為最優(yōu)的隨機法卻能在一定條件下給出優(yōu)秀的性能,其性能甚至可優(yōu)于權重法. 為了提高海量存儲機群系統(tǒng)中系統(tǒng)的平均故障前時間,作者在傳統(tǒng)的動態(tài)數(shù)據(jù)備份策略的基礎上,提出了動態(tài)并行數(shù)據(jù)備份策略.該策略的基本思想是利用海量存儲機群系統(tǒng)中節(jié)點數(shù)目巨大的特點和每個備份可以隨機存儲于任何一個節(jié)點的特性,通過為失效節(jié)點上的每個數(shù)據(jù)塊選擇互不相同的源節(jié)點和目標節(jié)點,來降低數(shù)據(jù)轉移時間,進而提高系統(tǒng)的平均故障前

7、時間.為了證明該策略的有效性,作者根據(jù)隨機過程理論,提出并建立了馬爾可夫模型,由該模型對系統(tǒng)進行瞬態(tài)分析,進而通過仿真實驗驗證了理論分析的正確性,得到的結論是:利用動態(tài)并行數(shù)據(jù)備份策略,當備份數(shù)為2時,系統(tǒng)的平均故障前時間僅為1小時左右;而當備份數(shù)為3時,可達十幾天,甚至幾十天;在出現(xiàn)節(jié)點失效后,數(shù)據(jù)塊在節(jié)點間的轉移速率對系統(tǒng)的平均故障前時間有顯著的影響,速率越快,系統(tǒng)的平均故障前時間越長;數(shù)據(jù)塊在節(jié)點上的隨機分布特性對系統(tǒng)的平均故障前

8、時間有很重要的影響,隨機分布特性差的分布策略,系統(tǒng)的平均故障前時間會顯著縮短.該研究的重要意義在于,所提出的并行數(shù)據(jù)備份策略能顯著地提高系統(tǒng)的平均故障前時間;并且指出通常的觀點,即為每個數(shù)據(jù)單元設置2個備份,對于一個有較高數(shù)據(jù)可靠性要求的海量數(shù)據(jù)系統(tǒng)來說是不能滿足要求的,而使用3個備份卻能滿足一般的要求. 論文還研究了其他因素對系統(tǒng)平均故障前時間的影響.研究的目的是通過對這些因素的分析,找到一些策略來保證一定的系統(tǒng)平均故障前時間

9、,同時又最大程度地節(jié)省資源,特別是人力資源,因為對于海量存儲機群系統(tǒng)來說,節(jié)點數(shù)目巨大,管理和維護系統(tǒng)的開銷很大.通過大量的仿真實驗發(fā)現(xiàn),對于一個通常配置的海量存儲機群系統(tǒng),當節(jié)點的平均維修時間為2天時,系統(tǒng)平均故障前時間可維持在10天以上;當節(jié)點的平均維修時間為4天時,仍可維持在4天以上.這表明對完整性要求不高的數(shù)據(jù),系統(tǒng)可放寬節(jié)點的平均維修時間要求,以降低對人力資源的要求.在恢復策略對系統(tǒng)平均故障前時間的影響方面,研究表明若用戶對系

10、統(tǒng)的平均故障前時間為4天的性能可以接受,則系統(tǒng)維護者可采用每2到3天維護一次的方案,將所有失效節(jié)點恢復,加入系統(tǒng),以提高勞動效率.另外,通過比較拷貝式與重啟式對系統(tǒng)平均故障前時間的影響,發(fā)現(xiàn)重啟式不能在節(jié)點數(shù)較大的時候提供很好的性能,遠低于拷貝式. 針對有狀態(tài)的應用中通常有高并發(fā)的要求,論文對并發(fā)編程模式進行了詳細的研究.首先比較了三種并發(fā)編程模式,即基于多線程的編程模式、基于事件處理的編程模式和基于階段的編程模式,分別指出了它

11、們的優(yōu)缺點,特別指出了基于階段的編程模式優(yōu)于其它兩種編程模式的主要原因在于其良性考驗的特性,該特性使服務器系統(tǒng)在處于過載的情況下,仍能維持一定的吞吐量,保證一定的服務質量.緊接著,探討了基于階段的編程模式的實現(xiàn)結構,線程跨階段結構和線程在階段內結構,比較了兩種結構的優(yōu)缺點,并指出由于線程在階段內結構有線程數(shù)有限,能處理阻塞操作,能自動完成調度,消息隊列透明等優(yōu)點,所以該結構被廣泛采用.同時,作者還給出了該結構下的Java語言的實現(xiàn)方法.

12、接著,考慮到相關文獻對基于階段的編程模式在實際應用中的使用方法沒有詳細的討論,從三方面對該模式的設計進行了討論,這些方面包括階段的數(shù)目、階段中線程的數(shù)目和階段的分配.通過大量的仿真實驗,發(fā)現(xiàn)用基于階段的編程模式進行設計時,若系統(tǒng)結構設計不合理,參數(shù)設置不當,則系統(tǒng)的性能將會有顯著的下降,甚至達到無法正常工作的境地,并由此提出了一套新的設計原則供設計者使用,這些原則是:在每一個處理器上,階段數(shù)目不能過多,一般不超過10個;對于包含阻塞調用

13、的階段,它的并發(fā)線程數(shù)可設為請求到達速率和平均阻塞時間的乘積;為了將暫時響應及時發(fā)送,這部分任務必須放于一個不含阻塞調用的階段.最后,將它們應用到實際的會話發(fā)起協(xié)議服務器的實現(xiàn)中,通過比較不同的系統(tǒng)設計的性能,證明了這些原則的正確性.另外,論文所提出的系統(tǒng)設計結構對類似的應用也有指導意義. 由于機群系統(tǒng)中不斷會有節(jié)點失效和恢復,所以容錯設計是系統(tǒng)能正確運行的關鍵技術.鑒于這方面的工作,往往是設計者根據(jù)自身的經(jīng)驗完成,而沒有一套通

14、用的分析和設計方法,本文對此做了研究.為使設計者能進行有層次有條理的容錯設計,提出了一套新的容錯設計分層概念,這些分層概念包括基本級設計、系統(tǒng)級設計、基本級容錯設計和系統(tǒng)級容錯設計.通過將這些概念應用于4個實際系統(tǒng)的容錯設計分析,證實了這些概念能很好地將容錯設計從系統(tǒng)設計中分離出來,同時,這樣的分析所得出的容錯設計方案也可供設計者進行重用.另外,還從許多系統(tǒng)的容錯設計中,總結出4條常見的設計技術,供設計者參考,這些技術包括節(jié)點失效檢測技

15、術、失效消息處理技術、簿記技術與緩存技術和重試技術. 論文還對狀態(tài)分配的方法進行了分類和歸納,總結了每種方法的特點.對分布式狀態(tài)分配策略中的數(shù)據(jù)分配表的重建問題,進行了詳細的討論,提出了簡單平均法,該法可使新建后系統(tǒng)中各節(jié)點維護基本相同數(shù)目的元數(shù)據(jù),以均衡新建后系統(tǒng)中各節(jié)點元數(shù)據(jù)訪問的負載,還可使各正常工作節(jié)點的元數(shù)據(jù)表的變化盡可能小,以減小重建元數(shù)據(jù)表所需開銷. 組成員協(xié)議設計方面,論文比較了常見的檢測協(xié)議和決定協(xié)議的