基于詞向量和因子分解機(jī)神經(jīng)網(wǎng)絡(luò)模型的CTR預(yù)測研究.pdf

1、隨著互聯(lián)網(wǎng)時代的飛速發(fā)展，廣告載體逐漸由傳統(tǒng)的報刊、雜志等媒介向網(wǎng)絡(luò)轉(zhuǎn)移，計算廣告由此衍生出來。根據(jù)廣告展現(xiàn)給用戶的形式，可以將其分為展示廣告和搜索廣告，本文只對搜索廣告進(jìn)行研究。預(yù)測互聯(lián)網(wǎng)廣告點擊率(Click-Through Rate,CTR)是十分重要的主題，因為搜索引擎的大量收益都來自于廣告。將廣告以合適的方式推薦給用戶能提高點擊事件發(fā)生的概率，進(jìn)一步提升贊助商廣告的知名度。CTR的預(yù)測準(zhǔn)確度會影響搜索引擎、用戶和贊助商(廣告主

2、)三方的利益。搜索廣告通常以每次點擊單價(Cost Per Click,CPC)的競價模式在結(jié)果頁面上排序，在這種競價模式下，排序的標(biāo)準(zhǔn)按照廣告主的競拍單價與點擊率乘積進(jìn)行降序排列。因此，提高搜索廣告CTR的預(yù)測準(zhǔn)確度是有意義的。
　　基于統(tǒng)計的方法預(yù)測點擊率是最直觀且簡單的，點擊率等于廣告被點擊的次數(shù)除以該廣告總的展示次數(shù)。這種方法最大的缺點是冷啟動問題，即無法計算一個沒有歷史的廣告的點擊率，使用機(jī)器學(xué)習(xí)算法來建模這個問題是目前

3、最通用的方法。在訓(xùn)練模型之前，需要且必須完成的工作是數(shù)據(jù)預(yù)處理和特征工程，特征提取的好壞直接影響模型的預(yù)測準(zhǔn)確度。不同廣告日志的原始特征差別甚大而且特征主要由人工設(shè)計。因此，針對不同的廣告數(shù)據(jù)集應(yīng)該采取不同的特征提取方案。顯然，在這種方式下特征工程的工作量太大，目前還沒有一種通用的特征提取方法來解決這個問題。本文通過詞表示的思想，使用實值詞向量表示原始特征，結(jié)合神經(jīng)網(wǎng)絡(luò)語言模型的訓(xùn)練算法，提出了一種基于4層神經(jīng)網(wǎng)絡(luò)的自動學(xué)習(xí)特征上層表示

4、的模型。
　　在預(yù)測CTR的問題上，F(xiàn)ield-aware Factorization Machines(FFM)模型在kaggle的兩個公開的廣告數(shù)據(jù)集(AVAZU和criteo)上效果最佳。通過分析，我們發(fā)現(xiàn)FFM模型之所以能夠取得很好的效果，原因在于模型在線性表達(dá)式的基礎(chǔ)上增加了特征與特征的乘積關(guān)系，并通過分解因子為向量的方法，進(jìn)一步提升模型性能。本文結(jié)合因子分解的思想，將神經(jīng)網(wǎng)絡(luò)的最后一個隱層單元的輸出作為FM模型的輸入，

5、并使用改進(jìn)的反向傳播算法學(xué)習(xí)所有參數(shù)，得到最終的模型，稱為基于詞向量和因子分解機(jī)的神經(jīng)網(wǎng)絡(luò)(Word-embedding-based Factorization Machines Neural Network,WFMNN)模型。
　　為了證明WFMNN能夠自適應(yīng)地學(xué)習(xí)多個廣告數(shù)據(jù)集上的特征，我們基于商業(yè)搜索引擎日志(CSEL)和AVAZU兩個數(shù)據(jù)集進(jìn)行實驗。結(jié)果表明，在CSEL上WFMNN比目前最佳的方法(FFM)在AUC指標(biāo)上提