基于梯度提升決策樹與深度信念網(wǎng)絡(luò)融合的推薦算法研究.pdf

1、隨著科學(xué)技術(shù)以及互聯(lián)網(wǎng)的不斷發(fā)展，全球信息總量爆發(fā)性增長，人們進(jìn)入信息時代，海量的數(shù)據(jù)不斷產(chǎn)生，信息超載問題越來越嚴(yán)重。這些數(shù)據(jù)信息數(shù)量龐大，增加了人們獲取所需信息的困難程度，如何充分利用這些海量的數(shù)據(jù)信息，篩選出其中的“垃圾”信息，分析和挖掘出人們需要的信息成為人們關(guān)注的熱點(diǎn)，推薦算法的出現(xiàn)有效地解決了這種情況。推薦算法通過分析處理海量稀疏的數(shù)據(jù)信息，學(xué)習(xí)到用戶的興趣愛好和行為習(xí)慣，挖掘出用戶可能的信息需求，將生成的預(yù)測結(jié)果推薦給用戶

2、。
　　對推薦算法來說，其處理的數(shù)據(jù)量越大，就越能夠充分地學(xué)習(xí)到數(shù)據(jù)中的潛在聯(lián)系，收集到用戶感興趣的信息，從而更準(zhǔn)確的推薦用戶需求的信息，所以推薦算法的研究適用于數(shù)據(jù)快速增長的信息時代，成為人們研究的熱點(diǎn)。推薦算法的研究，將海量信息中挖掘出的有效信息推薦給需求這類信息的用戶，來滿足不同用戶的信息需求，節(jié)約用戶搜尋信息所需的時間，提高信息的利用率。推薦算法應(yīng)用廣泛，其中最有經(jīng)濟(jì)價值的應(yīng)用領(lǐng)域是電子商務(wù)領(lǐng)域，本課題研究的是在電子商務(wù)場

3、景下的推薦算法。
　　在大數(shù)據(jù)時代，電子商務(wù)場景下的數(shù)據(jù)量巨大，數(shù)據(jù)屬性維度高，傳統(tǒng)的推薦算法不能有效的處理這類數(shù)據(jù)，推薦效果受到限制。梯度提升決策樹算法能夠有效的處理大量的，高屬性維度的特征數(shù)據(jù)，在搜索排序、廣告點(diǎn)擊率等方面有較好的應(yīng)用，本文研究的電子商務(wù)場景下的數(shù)據(jù)同樣適用于梯度提升決策樹算法。梯度提升決策樹算法是一種流行的機(jī)器學(xué)習(xí)算法，與傳統(tǒng)的推薦算法相比，它能夠處理大量的稀疏的數(shù)據(jù)，學(xué)習(xí)到數(shù)據(jù)中存在的潛在聯(lián)系，生成更高準(zhǔn)確

4、率的推薦結(jié)果。但是實(shí)際應(yīng)用中，數(shù)據(jù)特征過大時梯度提升決策樹的學(xué)習(xí)效果就受到限制，我們引入深度信念網(wǎng)絡(luò)來解決數(shù)據(jù)特征過大的問題。深度信念網(wǎng)絡(luò)是深度學(xué)習(xí)領(lǐng)域的主流算法，可以用它來識別特征、生成特征數(shù)據(jù)，通過利用其處理數(shù)據(jù)特征的優(yōu)勢在特征選擇工作中篩選掉對推薦結(jié)果無用的特征數(shù)據(jù)，將精簡的特征數(shù)據(jù)引入梯度提升決策樹模型學(xué)習(xí)，可以有效的提高推薦準(zhǔn)確率。采用融合不同的算法模型，充分利用單一算法處理不同問題不同數(shù)據(jù)的互補(bǔ)優(yōu)勢，解決大規(guī)模數(shù)據(jù)量和高維度

5、特征選擇過程中的繁雜問題。本文開展了基于梯度提升決策樹與深度信念網(wǎng)絡(luò)融合的推薦算法研究，主要工作如下:
　　1、提出了基于深度信念網(wǎng)絡(luò)的特征集合構(gòu)建算法。首先為了防止原始數(shù)據(jù)在訓(xùn)練過程中出現(xiàn)過擬合或者欠擬合做了數(shù)據(jù)準(zhǔn)備，包括數(shù)據(jù)說明、數(shù)據(jù)分析和數(shù)據(jù)預(yù)處理。其次依據(jù)數(shù)據(jù)預(yù)處理與統(tǒng)計(jì)分析的結(jié)果，結(jié)合實(shí)際生活中影響推薦結(jié)果的多種因素，從十二大角度生成了基礎(chǔ)類別和交叉組合類別的特征集合。然后在處理高維數(shù)據(jù)集合特征選取過程中，引入深度學(xué)習(xí)領(lǐng)

6、域的深度信念網(wǎng)絡(luò)模型，以解決特征集合的特征選擇和高屬性維度問題。通過在模型中訓(xùn)練其神經(jīng)元間的權(quán)重，讓整個模型網(wǎng)絡(luò)依據(jù)最大概率生成訓(xùn)練特征數(shù)據(jù)，從而減少后續(xù)推薦算法訓(xùn)練特征的計(jì)算量。這種在特征模型的構(gòu)建階段引入了深度信念網(wǎng)絡(luò)方法，對于提高推薦系統(tǒng)的推薦準(zhǔn)確度和推薦效果起到了極其重要的作用。
　　2、提出基于梯度提升思想的決策樹算法。首先從推薦算法的核心算法入手，將決策樹作為基礎(chǔ)學(xué)習(xí)器，引入梯度提升的思想框架通過迭代的方式訓(xùn)練大量的基

7、礎(chǔ)學(xué)習(xí)模型，將這些訓(xùn)練好的基礎(chǔ)學(xué)習(xí)器加權(quán)融合，實(shí)現(xiàn)將弱學(xué)習(xí)器組合成為強(qiáng)學(xué)習(xí)器，提高了推薦算法的泛化能力和推薦效果。運(yùn)用深度信念網(wǎng)絡(luò)模型將原始數(shù)據(jù)結(jié)合實(shí)際規(guī)則構(gòu)建了特征集合，用這些特征集合不斷訓(xùn)練優(yōu)化梯度提升決策樹，構(gòu)建最終的推薦算法模型。
　　3、基于梯度提升決策樹與深度信念網(wǎng)絡(luò)融合的推薦算法。首先構(gòu)建深度信念網(wǎng)絡(luò)初級算法模型，將初步處理提取出的特征集合，使用深度信念網(wǎng)絡(luò)模型學(xué)習(xí)處理，篩選生成最終的特征集合。其次依據(jù)實(shí)際的業(yè)務(wù)場景

8、，生成用戶和商品可能存在的所有相關(guān)規(guī)則，以時間軸為基線并參考時間遺忘規(guī)律，劃分訓(xùn)練集、測試集和驗(yàn)證集。最后，用深度信念網(wǎng)絡(luò)模型選取出的特征集合充分訓(xùn)練梯度提升決策樹，結(jié)合模型的驗(yàn)證集合不斷迭代驗(yàn)證推薦模型的結(jié)果，調(diào)節(jié)優(yōu)化兩個模型的參數(shù)，實(shí)現(xiàn)算法模型的融合，生成最終的推薦模型。
　　本課題基于阿里巴巴移動電子商務(wù)平臺的真實(shí)用戶-商品行為數(shù)據(jù)，進(jìn)行了大量的實(shí)驗(yàn)，通過實(shí)現(xiàn)梯度提升決策樹和深度信念網(wǎng)絡(luò)的融合，與單個推薦算法的隨機(jī)森林算法、