基于hadoop的分布式詳單查詢系統(tǒng)設(shè)計與實現(xiàn).pdf

1、在通信行業(yè)，每月話費詳單是典型的大數(shù)據(jù)，數(shù)據(jù)量級能達到十億，對存儲空間、數(shù)據(jù)分析處理是嚴峻考驗。同時，詳單作為運營商與客戶間溝通的直接渠道，對于維護客戶忠誠度具有重要意義，如何提供方便、靈活、可靠的詳單查詢功能一直是各大運營商、技術(shù)服務(wù)商和廣大消費者共同關(guān)注的話題。Hadoop是云計算技術(shù)的一種開源實現(xiàn)，該架構(gòu)具有跨平臺、高容錯等優(yōu)勢，利用它搭建分布式云計算平臺，可實現(xiàn)集群的計算和存儲能力的充分利用，實現(xiàn)海量數(shù)據(jù)的分析與處理工作。本文基

2、于Hadoop分布式架構(gòu)的思路，分析、設(shè)計和實現(xiàn)了詳單查詢系統(tǒng)的業(yè)務(wù)流程、系統(tǒng)的功能需求和非功能性需求。經(jīng)測試與試點應(yīng)用，發(fā)現(xiàn)該系統(tǒng)的查詢可靠性、服務(wù)效率和擴展性有明顯改進。
　　首先，本文討論了通信行業(yè)詳單查詢系統(tǒng)面臨的難題與問題，分析Hadoop架構(gòu)在解決上述問題的優(yōu)勢。在此基礎(chǔ)上分析了詳單查詢系統(tǒng)的業(yè)務(wù)流程、系統(tǒng)的功能需求和非功能性需求
　　再需求分析基礎(chǔ)上，本文進一步討論詳單查詢系統(tǒng)的總體設(shè)計。首先根據(jù)系統(tǒng)需求提出系

3、統(tǒng)設(shè)計的總體目標，從總體業(yè)務(wù)流程、功能架構(gòu)、數(shù)據(jù)架構(gòu)和技術(shù)架構(gòu)四方面闡述系統(tǒng)的體系結(jié)構(gòu)和系統(tǒng)接口;討論系統(tǒng)數(shù)據(jù)模型，依次設(shè)計了該系統(tǒng)16種業(yè)務(wù)的7大類數(shù)據(jù)庫表;并在接口設(shè)計中，分析了詳單查詢系統(tǒng)與融合計費，綜合查詢和CRM等外部系統(tǒng)的接口關(guān)系。
　　第三，本文針對系統(tǒng)的詳單存儲、詳單數(shù)據(jù)處理、詳單查詢服務(wù)、CRM查詢服務(wù)接口四個子系統(tǒng)，分別從數(shù)據(jù)流、業(yè)務(wù)流程和時序圖等個方面開展了詳細設(shè)計;著重對系統(tǒng)的若干關(guān)鍵技術(shù)，如分布式集群單點

4、故障、Redis緩存高可用性、數(shù)據(jù)壓縮機制和預(yù)處理異常處理機制等方面進行詳細設(shè)計說明;設(shè)計了“分布式”的系統(tǒng)部署方案將不同應(yīng)用子系統(tǒng)部署到分布式集群的不同節(jié)點，將詳單查詢服務(wù)，詳單數(shù)據(jù)處理子系統(tǒng)展示模塊，Redist和日志入庫部署在查詢服務(wù)節(jié)點，將HDFS的namenode，HADOOP的jobtracker以及預(yù)處理子系統(tǒng)調(diào)度模塊部署在主節(jié)點;將詳單數(shù)據(jù)處理的分布式運算、詳單文件的存儲、以及分布式數(shù)據(jù)庫的存儲部署在子節(jié)點，大大提高數(shù)據(jù)

5、的可用性，又能提高大數(shù)據(jù)量查詢效率。
　　最后，文章針對該分布式詳單查詢系統(tǒng)的主要組件，介紹了它們的功能界面和模塊實現(xiàn);經(jīng)數(shù)據(jù)加載準確性、預(yù)處理加載性能、查詢性能和高可用性及擴展性等測試，發(fā)現(xiàn)系統(tǒng)的查詢可靠性、服務(wù)效率和擴展性等性能都有明顯改進，系統(tǒng)的設(shè)計與開發(fā)較好地解決了功能和性能需求，同時針對系統(tǒng)在預(yù)處理加載流程，Map/Reduce啟動時間及流程各個環(huán)節(jié)之間的等待時間還需要進一步優(yōu)化的不足，提出了對該詳單查詢系統(tǒng)的未來展望和