處理海量數(shù)據(jù)的異構(gòu)數(shù)據(jù)庫訪問中間件的設(shè)計與實現(xiàn).pdf

1、隨著3G網(wǎng)絡(luò)的推廣以及4G網(wǎng)絡(luò)的上市，手機(jī)網(wǎng)絡(luò)每月產(chǎn)生的移動信令數(shù)據(jù)量高達(dá)幾百TB，而用于存儲這些海量數(shù)據(jù)的數(shù)據(jù)庫類型又不盡相同，應(yīng)用系統(tǒng)在訪問這些異構(gòu)的且規(guī)模龐大的數(shù)據(jù)庫時，必然面臨著接口不統(tǒng)一、透明訪問困難、海量數(shù)據(jù)訪問效率低等問題。因此，運(yùn)營商的數(shù)據(jù)中心需要提供能夠處理海量數(shù)據(jù)的數(shù)據(jù)訪問服務(wù)以供應(yīng)用系統(tǒng)調(diào)用，不僅能夠從海量數(shù)據(jù)中快速得到所需要的信息，同時也為應(yīng)用系統(tǒng)提供統(tǒng)一的訪問接口，實現(xiàn)透明訪問異構(gòu)數(shù)據(jù)庫的目標(biāo)。
　　處理

2、海量數(shù)據(jù)的數(shù)據(jù)庫訪問中間件位于應(yīng)用系統(tǒng)和數(shù)據(jù)庫之間，應(yīng)用系統(tǒng)必須通過該中間件才能和數(shù)據(jù)中心內(nèi)的數(shù)據(jù)庫交互。為了實現(xiàn)該中間件，采用EJB3.0技術(shù)搭建了中間件實現(xiàn)平臺；選用SQL語法翻譯機(jī)制來屏蔽語法差異，實現(xiàn)透明訪問分布在不同的網(wǎng)絡(luò)節(jié)點(diǎn)上的數(shù)據(jù)庫；將結(jié)果集封裝在自定義對象中，實現(xiàn)遠(yuǎn)程數(shù)據(jù)在各個層之間的傳遞；通過對數(shù)據(jù)查詢優(yōu)化技術(shù)的研究，選用分表算法把一個規(guī)模龐大的表分解為多個子表，以減小查詢所要掃描的數(shù)據(jù)規(guī)模；并采用緩存預(yù)測技術(shù)，減少應(yīng)