Linux多協議多線程下載技術的研究與實現.pdf

1、網絡文件下載(Network file download),其發(fā)展過程經歷了HTTP、FTP多線程文件下載、P2P多源文件下載以及支持多種協議的多源多線程文件下載三個階段。盡管Linux系統的下載工具簡潔、高速、移植性強,但也存在著命令行操作相對不便,支持協議種類不多等缺陷,能同時支持HTTP、FTP、BitTorrent三種常見協議的下載工具更是稀少。因此,本文針對當前Linux下載工具存在的不足,主要完成如下幾個方面的工作:

2、　　 1)對比當前Linux主要下載工具的優(yōu)缺點,詳細分析了HTTP、FTP、BitTorrent協議的工作原理、實現方法以及Linux多線程編程技術。
　　 2)針對隨機鄰居節(jié)點選擇策略的缺陷,提出BitTorrent協議實現的鄰居節(jié)點選擇策略的改進算法。該算法既充分利用了鄰居節(jié)點帶寬,又最大限度地保證了從鄰居節(jié)點處獲得新文件片段的概率,提高了系統文件的交換速率。
　　 3)針對BitTorrent實現的激勵機制無法

3、在大量種子節(jié)點存在的網絡中抑制貪婪節(jié)點搭便車行為的缺陷,提出根據節(jié)點貢獻量分配種子上載帶寬的分配機制。該機制能優(yōu)化種子帶寬的合理分配,有效地抑制貪婪節(jié)點搭便車行為的產生,縮短貢獻節(jié)點的平均下載時間,提高系統運行的公正性。
　　 4)針對大量節(jié)點頻繁的更新操作對Tracker服務器造成的負載過重以及隨機選擇連接節(jié)點造成的帶寬損耗等缺陷,本文基于Cluster拓撲模型,提出基于鄰居節(jié)點聚簇的文件分發(fā)系統模型,并給出節(jié)點加入策略、超級

4、節(jié)點選擇策略、節(jié)點離線策略的具體實現方法。
　　 5)結合本文對于協議實現方法的改進,構建了一種能同時支持HTTP、FTP、BitTorrent三種協議的基于命令行操作的多線程下載工具。其中,對于HTTP／FTP下載,詳細描述了文件分塊、斷點續(xù)傳與多線程同步的實現；對于BitTorrent下載,重點描述了種子解析模塊、策略選擇模塊以及peer管理模塊的實現。
　　 在系統測試中,通過對比wget、d4x、lftp、bit