基于緩存優(yōu)化的實(shí)時數(shù)據(jù)同步機(jī)制.pdf

1、在云計算和大數(shù)據(jù)背景下,數(shù)據(jù)呈現(xiàn)爆炸式增長趨勢。面對這些海量以視頻、圖片、文字等非結(jié)構(gòu)化數(shù)據(jù)為主的大數(shù)據(jù)時,基于傳統(tǒng)架構(gòu)的信息系統(tǒng)已難以應(yīng)對,同時傳統(tǒng)商業(yè)智能系統(tǒng)和數(shù)據(jù)分析軟件也缺少有效的分析工具和方法。無論是從商業(yè)價值還是技術(shù)難度上來講,實(shí)時處理和挖掘是大數(shù)據(jù)時代的重中之重,所以如何快速獲取實(shí)時數(shù)據(jù)是時下的研究熱點(diǎn)。
　　針對數(shù)據(jù)同步系統(tǒng)的功能和性能等要求,該系統(tǒng)提出一種基于緩存優(yōu)化的實(shí)時數(shù)據(jù)同步機(jī)制。系統(tǒng)包括數(shù)據(jù)抓取、數(shù)據(jù)解析

2、、數(shù)據(jù)處理和數(shù)據(jù)服務(wù)四大模塊。在數(shù)據(jù)抓取和數(shù)據(jù)解析模塊,系統(tǒng)實(shí)現(xiàn)了基于日志分析的邏輯復(fù)制技術(shù),同時內(nèi)部采用Google Protobuf協(xié)議進(jìn)行交互處理。基于緩存優(yōu)化策略提出一種按照消費(fèi)端所訂閱的表來劃分緩存通道,并且利用分布式服務(wù)Zookeeper實(shí)現(xiàn)消費(fèi)一致性以及各節(jié)點(diǎn)信息的監(jiān)控。系統(tǒng)實(shí)現(xiàn)了異構(gòu)數(shù)據(jù)源的同步,并且支持一份數(shù)據(jù)多路消費(fèi)的功能。同時,系統(tǒng)支持動態(tài)部署緩存通道和事件源,通過采用環(huán)形緩存區(qū)減少競爭鎖方式實(shí)現(xiàn)用戶訂閱的事件源隔