云文件同步系統(tǒng)關(guān)鍵技術(shù)研究與實(shí)現(xiàn).pdf

1、隨著金山快盤(pán)、Dropbox、EverNote等云存儲(chǔ)應(yīng)用快速興起，云計(jì)算開(kāi)始真正融入人們的日常生活。實(shí)現(xiàn)高可用的云存儲(chǔ)應(yīng)用的關(guān)鍵技術(shù)之一，是如何解決用戶數(shù)據(jù)在多個(gè)設(shè)備之間的同步問(wèn)題。隨著用戶規(guī)模的逐漸擴(kuò)大，并發(fā)訪問(wèn)量遞增，存儲(chǔ)容量需求爆炸式增長(zhǎng)，云存儲(chǔ)系統(tǒng)勢(shì)必面臨極其嚴(yán)峻的考驗(yàn)。開(kāi)發(fā)與合作是當(dāng)今互聯(lián)網(wǎng)的主題之一，云存儲(chǔ)系統(tǒng)對(duì)外開(kāi)放亦是大勢(shì)所趨。
　　本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)安全可靠、可擴(kuò)展的云存儲(chǔ)子系統(tǒng)，稱為云文件同步系統(tǒng)。并為該系

2、統(tǒng)開(kāi)發(fā)了云網(wǎng)盤(pán)客戶端程序和設(shè)計(jì)了REST架構(gòu)風(fēng)格的開(kāi)放API。此外，還對(duì)云環(huán)境下的文件同步算法這一關(guān)鍵技術(shù)做了深入的研究，提出了一種基于文件元數(shù)據(jù)集合的多設(shè)備文件同步算法。本文主要工作包含以下四部分。
　　云文件同步系統(tǒng)的整體設(shè)計(jì)。通過(guò)引入負(fù)載均衡技術(shù)和MongoDB分布式集群技術(shù)，提高了該系統(tǒng)并發(fā)處理能力和帶故障正常運(yùn)行能力。整體設(shè)計(jì)能夠滿足安全可靠、可擴(kuò)展的基本要求。
　　多設(shè)備文件同步算法實(shí)現(xiàn)。在云環(huán)境下，文件同步參與

3、者之間呈現(xiàn)星形的拓?fù)浣Y(jié)構(gòu)，中央節(jié)點(diǎn)是提供文件存儲(chǔ)服務(wù)的云端，連接中央節(jié)點(diǎn)的是各種客戶端。假設(shè)僅有一個(gè)客戶端，那么通過(guò)比對(duì)該客戶端或云端上次同步完成和本次同步開(kāi)始這兩個(gè)時(shí)間點(diǎn)的文件元數(shù)據(jù)集合，可以得到云端和客戶端的文件變化，進(jìn)而合并云端和客戶端文件變化得到最終的文件變化，最后應(yīng)用文件變化即可實(shí)現(xiàn)該客戶端與云端的文件同步。此處的獲取文件變化的過(guò)程描述起來(lái)很簡(jiǎn)單，實(shí)際情況處理起來(lái)卻是異常棘手。不過(guò)，經(jīng)過(guò)一些巧妙的抽象和反抽象后，整個(gè)獲取文件變

4、化的過(guò)程變得非常簡(jiǎn)便。進(jìn)一步將情景抽象為同步時(shí)間獨(dú)占、客戶端與客戶端關(guān)系確定為松耦合，使得每個(gè)客戶端和云端的同步操作看起來(lái)都是獨(dú)立的，從而可以將多個(gè)客戶端與云端的文件同步問(wèn)題都看成是之前假設(shè)的單個(gè)客戶端與云端的文件同步問(wèn)題。
　　云文件同步系統(tǒng)的工程實(shí)現(xiàn)。主要工作包括基于Jersey框架的REST架構(gòu)風(fēng)格Web服務(wù)程序的開(kāi)發(fā)和供用戶使用的的云網(wǎng)盤(pán)Windows客戶端程序的開(kāi)發(fā)。
　　云文件同步系統(tǒng)的部署與測(cè)試。部署指的是將該