基于Spark的云化報表系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著4G業(yè)務(wù)的發(fā)展，業(yè)務(wù)模式更新?lián)Q代，其規(guī)模也迅速擴大，業(yè)務(wù)數(shù)據(jù)量成線性地增長。報表系統(tǒng)通過存儲過程實時地處理營業(yè)員或者營業(yè)廳的當天全量數(shù)據(jù)，尤其在報表查詢高峰期的情況下，會導(dǎo)致一段時間內(nèi)數(shù)據(jù)庫的處理壓力倍增，從而拖累整個系統(tǒng)的正常運行。對于營業(yè)員來說，下班查帳時表現(xiàn)得更為明顯。由于存在以上問題，本文才設(shè)計了云化報表系統(tǒng)。
　　本文的報表系統(tǒng)主要完成以下幾個方面的工作：
　　本文的云化報表系統(tǒng)主要包含四個層面的工作，分別是數(shù)

2、據(jù)抽取層，Spark計算層，業(yè)務(wù)邏輯層和界面層。數(shù)據(jù)抽取層的工作主要是實時增量數(shù)據(jù)的抽取，生產(chǎn)庫使用OGG（Oracle Golden Gate）同步到鏡像庫過程中生成的增量數(shù)據(jù)文件，利用Kafka消息系統(tǒng)把增量數(shù)據(jù)發(fā)送到Spark計算層；Spark計算層的作用是實時增量數(shù)據(jù)的計算，利用Spark Streaming處理訂閱的Kafka消息，處理Kafka發(fā)送的增量數(shù)據(jù)，首先把增量數(shù)據(jù)備份到HBase上，計算完成后再把數(shù)據(jù)存入Redis