多層隨機森林算法在電信離網(wǎng)預(yù)測中的應(yīng)用.pdf

1、在電信運營商領(lǐng)域，離網(wǎng)預(yù)測是企業(yè)決策者用來發(fā)現(xiàn)潛在離網(wǎng)用戶（即停用運營商服務(wù)）的主要手段。目前，離網(wǎng)預(yù)測都是基于特征工程和傳統(tǒng)機器學(xué)習(xí)算法，例如邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)及隨機森林等。其中，隨機森林算法憑借其能同時處理離散和連續(xù)的特征輸入、分布式訓(xùn)練速度快及有較高預(yù)測準確度等良好特性，在電信離網(wǎng)預(yù)測系統(tǒng)中得到廣泛應(yīng)用。因此，改善隨機森林算法，進一步提升離網(wǎng)預(yù)測的準確度，是本文的主要研究內(nèi)容。
　　近年來，大數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)框架在

2、預(yù)測問題上獲得巨大成功，主要原因是多層次深度神經(jīng)網(wǎng)絡(luò)能夠從大量數(shù)據(jù)中組合出豐富的非線性特征，從而提升分類預(yù)測決策的準確度。受到深度學(xué)習(xí)的啟發(fā)，本文聚焦回答一個問題：是否能夠構(gòu)造一個多層次隨機森林算法來獲取更好的特征進而得到比單層隨機森林更高的離網(wǎng)預(yù)測準確度？本文提出了兩種多層隨機森林算法，一種是多層分類森林算法，另一種是多層回歸森林算法，并在運營商真實用戶數(shù)據(jù)上驗證這兩種算法的離網(wǎng)預(yù)測精度。實驗數(shù)據(jù)選用連續(xù)兩個月的預(yù)付費用戶數(shù)據(jù)（每個月

3、大概210萬條數(shù)據(jù)），其中將前一個月數(shù)據(jù)用作訓(xùn)練集，而將后一個月數(shù)據(jù)用作測試集。實驗結(jié)果表明，多層隨機森林比單層隨機森林具有更高的離網(wǎng)預(yù)測準確度，其中四層隨機森林與單層隨機森林相比，在PR-AUC值上有6.82％的提升。綜上所述，本文的創(chuàng)新點包括：
　　1）本文提出了一種新的多層隨機森林算法——多層分類森林，通過級聯(lián)的方式，將隨機森林分類器構(gòu)造成多層結(jié)構(gòu)算法模型，并用前一層的輸出作為下一層的輸入。在離網(wǎng)預(yù)測結(jié)果上，四層分類森林與單

4、層隨機森林對比，PR-AUC值提升了4.13%。
　　2）類似多層分類森林算法，本文基于Gradient Boosted Regression Tree(GBRT)思想，提出多層回歸森林算法。通過級聯(lián)方式，將后面每一層的回歸森林目標函數(shù)設(shè)置成標簽值與之前所有層結(jié)果之和的殘差，通過每一層不斷縮小殘差回歸的誤差來提升算法的預(yù)測能力。在離網(wǎng)預(yù)測的實驗結(jié)果中，四層回歸森林的預(yù)測準確度要高于四層分類森林，相對于四層分類森林，PR-AUC值提

5、升了2.57%。
　　3）通過大量離網(wǎng)預(yù)測實驗對比，發(fā)現(xiàn)以下現(xiàn)象：a)對比在不同數(shù)據(jù)量（分別是1個月、2個月、3個月及4個月）的訓(xùn)練集下多層分類森林及多層回歸森林在離網(wǎng)預(yù)測問題上預(yù)測結(jié)果，發(fā)現(xiàn)隨著訓(xùn)練數(shù)據(jù)量的倍數(shù)增長，兩種多層算法在預(yù)測精度上的提升幅度要高于單層隨機森林（例如同樣是用四個月的數(shù)據(jù)量與一個月的數(shù)據(jù)量進行對比，單層隨機森林預(yù)測結(jié)果的PR-AUC值提升了4.80%，而四層分類森林提升了6.09%，四層回歸森林更是提升了6

6、.58%），證實了在大數(shù)據(jù)量下，多層模型較單層模型有更強的特征學(xué)習(xí)能力；b)對比在不同的時間延遲上（分別是后面第一個月、后面第二個月、后面第三個月及后面第四個月）多層分類森林及多層回歸森林預(yù)測結(jié)果，發(fā)現(xiàn)隨著時間延遲的線性增長，兩種算法在離網(wǎng)預(yù)測上的預(yù)測結(jié)果相對于單層隨機森林有更小幅度的下降（例如延遲一個月時，四層回歸森林的 PR-AUC值比單層隨機森林高6.82%，而延遲四個月時，四層回歸森林的 PR-AUC值比單層隨機森林要高39.5