基于Hadoop平臺的電信養(yǎng)卡研究與分析.pdf

1、隨著電信行業(yè)代理商的不斷增多，代理商在市場中出現(xiàn)違規(guī)操作的現(xiàn)象也越來越普遍。其中最主要的違規(guī)行為是建立“貓池”設(shè)備進(jìn)行養(yǎng)卡，通過養(yǎng)卡來套取電信運營商的代理酬金。為了打擊代理商的這種行為，電信運營商借助傳統(tǒng)的數(shù)據(jù)庫技術(shù)分析每月新發(fā)展的用戶是否為養(yǎng)卡用戶，然而，這需要花費大量的人力物力，且正確率最高只有85％。為了更加高效的區(qū)分電信運營商的養(yǎng)卡用戶，本文運用了數(shù)據(jù)挖掘技術(shù)以及Hadoop平臺。
　　本文以作者在江蘇某運營商實習(xí)期間獲得

2、的真實數(shù)據(jù)為背景，對電信運營商區(qū)分養(yǎng)卡用戶進(jìn)行了研究和分析。本文將數(shù)據(jù)挖掘常用的BP神經(jīng)網(wǎng)絡(luò)算法和K_Means算法應(yīng)用到養(yǎng)卡分析中，根據(jù)K_Means算法的仿真結(jié)果分析原始數(shù)據(jù)中較強(qiáng)的影響因子，找出其對應(yīng)的數(shù)據(jù)屬性，并通過屬性增強(qiáng)的方法修改原始數(shù)據(jù)，該方法可以改善K_Means算法的聚類效果，有效提高養(yǎng)卡分析的正確率。隨后，基于Canopy算法對K_Means算法的養(yǎng)卡聚類分析進(jìn)行了改進(jìn)，將Canopy算法得到的兩個距離最大的Cano

3、py作為K_Means算法的初始聚類中心，提高了聚類效率。最后，將基于Hadoop平臺的電信養(yǎng)卡分析集成到Web平臺上，該平臺包括類型轉(zhuǎn)換、算法調(diào)用、任務(wù)監(jiān)控、結(jié)果查詢等功能，提高了整個養(yǎng)卡分析過程的效率。結(jié)果表明，本文提出的基于 Hadoop的養(yǎng)卡分析方法有效提高了判決正確率、降低了時間開銷，相比于電信運營商的傳統(tǒng)數(shù)據(jù)庫分析，正確率提高了6.32%；相比于傳統(tǒng)單機(jī)運行K_Means算法的養(yǎng)卡聚類分析，四個結(jié)點的Hadoop平臺時間開銷