分布式文件傳輸系統(tǒng)的設計與實現(xiàn).pdf

1、當今社會，信息正以超乎人們想象的速度增長，信息存儲系統(tǒng)的容量每兩年，有時甚至一年就會翻一番，增長速度比處理器產(chǎn)業(yè)的摩爾定律還要快，由此引發(fā)的各種問題也隨之而來。人們對信息數(shù)據(jù)日益廣泛的需求導致存儲系統(tǒng)的規(guī)模變得越來越龐大，管理越來越復雜，信息資源的爆炸性增長和管理能力的相對不足之間的矛盾日益尖銳。同時，這種信息資源的高速增長也對存儲系統(tǒng)的可靠性和擴展性提出了挑戰(zhàn)，信息資源的共享也顯得越來越重要。
　　數(shù)據(jù)傳輸技術目前比較成熟的有網(wǎng)

2、格技術和P2P技術。網(wǎng)格技術側重于實現(xiàn)快速傳送存儲設備和并行機或大型計算機之間的龐大文件，P2P技術則側重于實現(xiàn)基于海量用戶之間的文件傳輸，而對支持海量分布存儲與負載平衡的應用場景以上兩種應用不能夠有效支撐。本文研究了基于HTTP協(xié)議的DFTS（Distributed File Transfer System，分布式文件傳輸系統(tǒng)）解決方案，以滿足企業(yè)在跨地域之間大數(shù)據(jù)量傳輸以及數(shù)據(jù)共享的需求。
　　通過本文的設計要達到四個目標：高

3、性能和高質(zhì)量數(shù)據(jù)傳輸、數(shù)據(jù)傳輸狀態(tài)可控、與現(xiàn)有系統(tǒng)無縫集成、安全信息共享。在高性能和高質(zhì)量數(shù)據(jù)傳輸方面，通過自適應傳輸策略(包括批量小文件數(shù)據(jù)整合傳輸、大文件多線程分塊并行傳輸)、數(shù)據(jù)流緩存機制、文件續(xù)傳機制、文件校驗機制等關鍵技術，有效提升了廣域網(wǎng)數(shù)據(jù)的傳輸性能和傳輸效率；在數(shù)據(jù)傳輸狀態(tài)可控方面，通過任務狀態(tài)控制功能(包括啟動任務、暫停任務、取消任務、任務優(yōu)先級設置等功能)、文件管理功能(包括文件夾創(chuàng)建，文件或目錄的內(nèi)容二進制比對、刪

4、除、修改、遷移、訪問權限設置等)實現(xiàn)了使用客戶端進行文件傳輸和文件管理；在系統(tǒng)集成方面，使用sun的web-start技術和applet技術動態(tài)加載邏輯參數(shù)實現(xiàn)與現(xiàn)有系統(tǒng)無縫集成；在安全信息共享方面，通過分布式站點設計以及支持SSL(Secure Sockets Layer)加密通道訪問達到信息共享安全。
　　在此基礎之上，通過分布式存儲代理架構的設計來減小高并發(fā)傳輸情況下系統(tǒng)I/O性能負載。實踐證明在高并發(fā)傳輸?shù)那闆r下系統(tǒng)表現(xiàn)良