基于云環(huán)境的電信數(shù)據(jù)處理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、數(shù)據(jù)是現(xiàn)代信息社會(huì)運(yùn)行的命脈,也是各家電信服務(wù)商布局?jǐn)?shù)據(jù)服務(wù)產(chǎn)業(yè)的關(guān)鍵瓶頸。由于電信數(shù)據(jù)服務(wù)行業(yè)的競(jìng)爭(zhēng),數(shù)據(jù)匯聚、數(shù)據(jù)挖掘已成為知識(shí)提取和決策支持的核心,發(fā)揮著其重要的作用。鑒于企業(yè)傳統(tǒng)的查詢與統(tǒng)計(jì)方式只能進(jìn)行基本的數(shù)據(jù)處理,難以在更高層次上對(duì)數(shù)據(jù)進(jìn)行深入分析,大數(shù)據(jù)匯聚處理能力在不同程度上制約著各家電信數(shù)據(jù)服務(wù)商的服務(wù)水準(zhǔn)。
　　本人所在的中國電信號(hào)百信息服務(wù)有限公司(后文簡(jiǎn)稱:號(hào)百)對(duì)于數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理上的要求逐漸上升,需要

2、新的平臺(tái)來解決傳統(tǒng)電信系統(tǒng)數(shù)據(jù)采集中的質(zhì)量問題和數(shù)據(jù)干擾問題,并且在原有數(shù)據(jù)集成基礎(chǔ)上提升數(shù)據(jù)處理深度,提高數(shù)據(jù)挖掘準(zhǔn)確性,提升數(shù)據(jù)處理效率性,降低數(shù)據(jù)處理單位成本。
　　為符合當(dāng)前云計(jì)算與大數(shù)據(jù)領(lǐng)域的發(fā)展趨勢(shì),建立自有的大數(shù)據(jù)處理能力,在保證數(shù)據(jù)處理能力的同時(shí),不斷提升信息服務(wù)水平。
　　論文說明基于云計(jì)算環(huán)境的電信數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn),主要內(nèi)容包括以下幾個(gè)方面:
　　(1)論文研究背景:作為電信下屬專業(yè)數(shù)據(jù)經(jīng)營

3、公司,存在著海量數(shù)據(jù)同短缺的數(shù)據(jù)處理能力的矛盾;因此,必須建立基于云計(jì)算環(huán)境的高性價(jià)比、高效數(shù)據(jù)處理平臺(tái)支持公司各方面業(yè)務(wù)的開展。
　　(2)關(guān)鍵技術(shù)介紹:介紹了數(shù)據(jù)處理平臺(tái)應(yīng)用的基本理論與關(guān)鍵技術(shù):包括云計(jì)算和數(shù)據(jù)挖掘的相關(guān)概念以及常見挖掘算法。通過數(shù)據(jù)挖掘和云計(jì)算的實(shí)際案例和目前云計(jì)算在國內(nèi)外的部分應(yīng)用情況,說明選擇云計(jì)算框架的優(yōu)越性和必要性。
　　(3)平臺(tái)需求和算法研究:敘述平臺(tái)項(xiàng)目需求和架構(gòu)選型過程。論文說明了當(dāng)前

4、公司數(shù)據(jù)處理的特點(diǎn)和數(shù)據(jù)處理平臺(tái)的項(xiàng)目需求;闡述了平臺(tái)選擇基于Apache Hadoop的云計(jì)算架構(gòu)的必要性。同時(shí),論文對(duì)客戶分類、客戶判重、非規(guī)范文本處理、資料提取等具體功能在云計(jì)算環(huán)境中的算法實(shí)現(xiàn)進(jìn)行了討論,并展示電信日志類、基礎(chǔ)類數(shù)據(jù)的數(shù)據(jù)處理流程。
　　(4)平臺(tái)設(shè)計(jì)和實(shí)現(xiàn):論文通過用例視圖、邏輯視圖、系統(tǒng)技術(shù)平臺(tái)視圖等圖表說明了平臺(tái)的設(shè)計(jì);介紹平臺(tái)整體模型,說明平臺(tái)的三個(gè)主要模塊(前臺(tái)服務(wù)模塊,并行事務(wù)管理模塊,Hado