批量數(shù)據(jù)優(yōu)化處理框架的設(shè)計(jì)和實(shí)現(xiàn).pdf

1、一個(gè)數(shù)據(jù)庫應(yīng)用系統(tǒng)在投入運(yùn)行的初始階段，大都需要一次性錄入在量初始數(shù)據(jù)。而在使用的過程中，也往往需要從其他系統(tǒng)中獲取相關(guān)數(shù)據(jù)。傳統(tǒng)的方法是利用數(shù)據(jù)庫應(yīng)用系統(tǒng)本身提供的數(shù)據(jù)錄入功能完成這一工作，或者針對(duì)特定的業(yè)務(wù)編寫特定的代碼去實(shí)現(xiàn)批量數(shù)據(jù)的錄入。但是，這種方法對(duì)大批量數(shù)據(jù)來說效率非常低，穩(wěn)定性差，而且無法擴(kuò)展。
　　論文通過設(shè)計(jì)和實(shí)現(xiàn)大批量數(shù)據(jù)處理框架，很大程度上優(yōu)化了數(shù)據(jù)處理的速度，穩(wěn)定性和擴(kuò)展性。這主要從三個(gè)方面實(shí)現(xiàn)。首先是利

2、用二級(jí)緩存機(jī)制，利用生產(chǎn)者-消費(fèi)者體系結(jié)構(gòu)，生產(chǎn)者每次加載一批數(shù)據(jù)進(jìn)入內(nèi)存，經(jīng)過處理后進(jìn)入數(shù)據(jù)倉庫。消費(fèi)者每次從倉庫中取出一批數(shù)據(jù)，寫入目標(biāo)數(shù)據(jù)庫。最大程度上減少了數(shù)據(jù)庫訪問的次數(shù)，最大程度的提高了數(shù)據(jù)導(dǎo)入的速度。并且在數(shù)據(jù)抽取階段對(duì)數(shù)據(jù)進(jìn)行分析，在此基礎(chǔ)上分類重組，讓每組數(shù)據(jù)對(duì)應(yīng)一個(gè)范圍小的緩存，提高命中率。第二方面是利用監(jiān)控器機(jī)制，保證數(shù)據(jù)的正確性。第三方面是利用MVC架構(gòu)，將抽取數(shù)據(jù)，導(dǎo)入數(shù)據(jù)與數(shù)據(jù)處理業(yè)務(wù)分離。程序員只需要在Vi

3、ew中描述抽取邏輯和導(dǎo)入邏輯，聲明由那個(gè)業(yè)務(wù)邏輯處理類處理，接著在業(yè)務(wù)邏輯類中實(shí)現(xiàn)數(shù)據(jù)的轉(zhuǎn)化。
　　為了實(shí)現(xiàn)生產(chǎn)者-消費(fèi)者的體系結(jié)構(gòu)，框架設(shè)計(jì)了數(shù)據(jù)抽取，數(shù)據(jù)準(zhǔn)備和處理，數(shù)據(jù)監(jiān)控，數(shù)據(jù)批量導(dǎo)入，標(biāo)記位處理五個(gè)處理器和存放數(shù)據(jù)的一個(gè)數(shù)據(jù)倉庫。提高了整體的處理速度。而為了加快每條數(shù)據(jù)的處理速度，框架還建立了三個(gè)模型，分別是數(shù)據(jù)分類模型，緩存優(yōu)化模型和SQL優(yōu)化模型。數(shù)據(jù)分類和sql優(yōu)化對(duì)數(shù)據(jù)進(jìn)行分組重排，讓數(shù)據(jù)變得有規(guī)律，使緩存模型的