一種改進的隨機森林并行分類方法在運營商大數(shù)據(jù)的應用.pdf

1、電信運營商為電信消費者提供網(wǎng)絡服務，能夠取得豐富的數(shù)據(jù)資源。為了發(fā)掘這些數(shù)據(jù)的價值，本文設計并實現(xiàn)了一個基于運營商大數(shù)據(jù)的二手房產(chǎn)中介客戶分類系統(tǒng)，利用改進的隨機森林分類方法、MapReduce并行計算框架、聚類分析等大數(shù)據(jù)處理技術(shù)，并結(jié)合數(shù)理統(tǒng)計、復雜網(wǎng)絡方面的數(shù)據(jù)分析方法與網(wǎng)絡爬蟲技術(shù)，從每天的運營商通話記錄中提取房產(chǎn)中介潛在客戶并對其按照租房者、出租者、購房者、售房者以及其他等類別進行劃分，以供房產(chǎn)中介進行精準營銷。
　　分

2、類算法是整個系統(tǒng)的核心，本文提出一種改進的隨機森林分類算法，包括三個改進：（1）通過數(shù)學和實驗證明，對平衡數(shù)據(jù)，增加重復抽樣的樣本量可以有效提高準確率；（2）通過采用簡單隨機抽樣等效替代原有的重復抽樣，減少該算法的運行時間，提高系統(tǒng)效率；（3）采用回歸分析得到不平衡度與重復抽樣的定量關系為Y=e0.609-0.936X+ε，最終根據(jù)運營商大數(shù)據(jù)的不平衡度得到適用于本系統(tǒng)的重復抽樣樣本量。
　　系統(tǒng)分為數(shù)據(jù)采集子系統(tǒng)、數(shù)據(jù)預處理子系

3、統(tǒng)、數(shù)據(jù)分析子系統(tǒng)和反饋調(diào)整子系統(tǒng)。數(shù)據(jù)采集子系統(tǒng)主要負責收集房產(chǎn)經(jīng)紀人數(shù)據(jù)。數(shù)據(jù)預處理子系統(tǒng)通過并行化處理技術(shù)過濾掉與房產(chǎn)經(jīng)紀人無關的通話記錄，并通過并行化處理技術(shù)從中提取出潛在的客戶，以及他們的所有通話行為信息。數(shù)據(jù)分析子系統(tǒng)利用改進的隨機森林算法對潛在客戶進行分類，特別當系統(tǒng)處于冷啟動階段還沒有訓練樣本時，系統(tǒng)利用數(shù)理統(tǒng)計的R語言構(gòu)建可視化維度圖，利用復雜網(wǎng)絡中的分析軟件Cytoscape構(gòu)建可視化交互作用網(wǎng)絡，利用機器學習的聚類

4、分析方法對初始樣本集進行分析，幫助快速獲取訓練樣本以及梳理特征維度組合。反饋調(diào)整子系統(tǒng)是將后續(xù)系統(tǒng)運行中獲得的符合條件的帶標簽樣本加入到訓練樣本庫中，不斷對分類系統(tǒng)進行調(diào)整，細化分類邊界讓后續(xù)的分類更加準確。
　　通過將改進的隨機森林分類算法應用到基于運營商大數(shù)據(jù)的二手房產(chǎn)中介客戶分類系統(tǒng)，采用最初的訓練樣本作為測試樣本進行測試，得到分類錯誤率為21.1379％左右，比未改進的分類錯誤率（21.5274%）低0.3895%。應用了