一種改進(jìn)的隨機(jī)森林并行分類方法在運(yùn)營(yíng)商大數(shù)據(jù)的應(yīng)用.pdf

1、電信運(yùn)營(yíng)商為電信消費(fèi)者提供網(wǎng)絡(luò)服務(wù)，能夠取得豐富的數(shù)據(jù)資源。為了發(fā)掘這些數(shù)據(jù)的價(jià)值，本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于運(yùn)營(yíng)商大數(shù)據(jù)的二手房產(chǎn)中介客戶分類系統(tǒng)，利用改進(jìn)的隨機(jī)森林分類方法、MapReduce并行計(jì)算框架、聚類分析等大數(shù)據(jù)處理技術(shù)，并結(jié)合數(shù)理統(tǒng)計(jì)、復(fù)雜網(wǎng)絡(luò)方面的數(shù)據(jù)分析方法與網(wǎng)絡(luò)爬蟲技術(shù)，從每天的運(yùn)營(yíng)商通話記錄中提取房產(chǎn)中介潛在客戶并對(duì)其按照租房者、出租者、購(gòu)房者、售房者以及其他等類別進(jìn)行劃分，以供房產(chǎn)中介進(jìn)行精準(zhǔn)營(yíng)銷。
　　分

2、類算法是整個(gè)系統(tǒng)的核心，本文提出一種改進(jìn)的隨機(jī)森林分類算法，包括三個(gè)改進(jìn)：（1）通過(guò)數(shù)學(xué)和實(shí)驗(yàn)證明，對(duì)平衡數(shù)據(jù)，增加重復(fù)抽樣的樣本量可以有效提高準(zhǔn)確率；（2）通過(guò)采用簡(jiǎn)單隨機(jī)抽樣等效替代原有的重復(fù)抽樣，減少該算法的運(yùn)行時(shí)間，提高系統(tǒng)效率；（3）采用回歸分析得到不平衡度與重復(fù)抽樣的定量關(guān)系為Y=e0.609-0.936X+ε，最終根據(jù)運(yùn)營(yíng)商大數(shù)據(jù)的不平衡度得到適用于本系統(tǒng)的重復(fù)抽樣樣本量。
　　系統(tǒng)分為數(shù)據(jù)采集子系統(tǒng)、數(shù)據(jù)預(yù)處理子系

3、統(tǒng)、數(shù)據(jù)分析子系統(tǒng)和反饋調(diào)整子系統(tǒng)。數(shù)據(jù)采集子系統(tǒng)主要負(fù)責(zé)收集房產(chǎn)經(jīng)紀(jì)人數(shù)據(jù)。數(shù)據(jù)預(yù)處理子系統(tǒng)通過(guò)并行化處理技術(shù)過(guò)濾掉與房產(chǎn)經(jīng)紀(jì)人無(wú)關(guān)的通話記錄，并通過(guò)并行化處理技術(shù)從中提取出潛在的客戶，以及他們的所有通話行為信息。數(shù)據(jù)分析子系統(tǒng)利用改進(jìn)的隨機(jī)森林算法對(duì)潛在客戶進(jìn)行分類，特別當(dāng)系統(tǒng)處于冷啟動(dòng)階段還沒(méi)有訓(xùn)練樣本時(shí)，系統(tǒng)利用數(shù)理統(tǒng)計(jì)的R語(yǔ)言構(gòu)建可視化維度圖，利用復(fù)雜網(wǎng)絡(luò)中的分析軟件Cytoscape構(gòu)建可視化交互作用網(wǎng)絡(luò)，利用機(jī)器學(xué)習(xí)的聚類

4、分析方法對(duì)初始樣本集進(jìn)行分析，幫助快速獲取訓(xùn)練樣本以及梳理特征維度組合。反饋調(diào)整子系統(tǒng)是將后續(xù)系統(tǒng)運(yùn)行中獲得的符合條件的帶標(biāo)簽樣本加入到訓(xùn)練樣本庫(kù)中，不斷對(duì)分類系統(tǒng)進(jìn)行調(diào)整，細(xì)化分類邊界讓后續(xù)的分類更加準(zhǔn)確。
　　通過(guò)將改進(jìn)的隨機(jī)森林分類算法應(yīng)用到基于運(yùn)營(yíng)商大數(shù)據(jù)的二手房產(chǎn)中介客戶分類系統(tǒng)，采用最初的訓(xùn)練樣本作為測(cè)試樣本進(jìn)行測(cè)試，得到分類錯(cuò)誤率為21.1379％左右，比未改進(jìn)的分類錯(cuò)誤率（21.5274%）低0.3895%。應(yīng)用了