深度學(xué)習(xí)之word2vec

1、深度學(xué)習(xí)之word2vec,學(xué)習(xí)、分享與交流陳凱2015/12/17,目錄,基本概念模型與方法實(shí)戰(zhàn)與應(yīng)用,詞向量,自然語(yǔ)言中的詞語(yǔ)在機(jī)器學(xué)習(xí)中表示符號(hào)One-hot Representation例如：“話筒”表示為 [0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 ...]“麥克”表示為 [0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 ...]實(shí)現(xiàn)時(shí)就可以用0,1,2,3,...來(lái)表示詞

2、語(yǔ)進(jìn)行計(jì)算，這樣“話筒”就為3，“麥克”為8.存在兩個(gè)問(wèn)題當(dāng)文本豐富度較大時(shí)，維度過(guò)大詞匯鴻溝：任意兩個(gè)詞之間都是孤立的，不能體現(xiàn)詞和詞之間的關(guān)系,詞向量,Distributional Representation詞表示為：[0.792, ?0.177, ?0.107, 0.109, 0.542, ...]常見(jiàn)維度50或者100解決“詞匯鴻溝”問(wèn)題可以通過(guò)計(jì)算向量之間的距離（歐式距離、余弦距離等）來(lái)體現(xiàn)詞與詞的相似性如

3、何訓(xùn)練這樣的詞向量沒(méi)有直接的模型可訓(xùn)練得到可通過(guò)訓(xùn)練語(yǔ)言模型的同時(shí)，得到詞向量,語(yǔ)言模型,判斷一句話是不是正常人說(shuō)出來(lái)的，用數(shù)學(xué)符號(hào)描述為給定一個(gè)字符串"w1,w2,...,wt",計(jì)算它是自然語(yǔ)言的概率 ，一個(gè)很簡(jiǎn)單的推論是例如，有個(gè)句子"大家,喜歡,吃,蘋果"P(大家，喜歡，吃，蘋果)=p(大家)p(喜歡|大家)p(吃|大家,喜歡)p(蘋果|大

4、家,喜歡,吃)簡(jiǎn)單表示為計(jì)算 問(wèn)題,語(yǔ)言模型,現(xiàn)有模型N-gram模型N-pos模型...Bengio的NNLMC&W 的 SENNAM&H 的 HLBLMikolov 的 RNNLMHuang 的語(yǔ)義強(qiáng)化...,相似的詞語(yǔ)擁有相似的語(yǔ)境,word2vec原理,兩種模型，兩種方法,簡(jiǎn)單神經(jīng)網(wǎng)絡(luò),,掃雷機(jī)的神經(jīng)網(wǎng)絡(luò),權(quán)重向量： 0.3, -0.8， -0.2， 0.6

5、， 0.1， -0.l， 0.4， 0.5 w1x1 + w2x2 + w3x3 +...+ wnxn >= t輸入： 掃雷機(jī)視角向量，掃雷機(jī)與最近地雷的方向向量輸出： 左輪力、 右輪力。,,,CBOW模型+Hierarchical Softmax方法,CBOW模型INPUT:輸入層PROJECTION:投影層OUTPUT:輸出層w(t):當(dāng)前詞語(yǔ)（向量）w(t-2),w(t-1),w(t+1),w(t+2):

6、當(dāng)前詞語(yǔ)的上下文SUM:上下文的累加和,CBOW模型+Hierarchical Softmax方法（續(xù)）,,哈夫曼樹（霍夫曼樹）又稱為最優(yōu)樹.假設(shè)有n個(gè)權(quán)值，則構(gòu)造出的哈夫曼樹有n個(gè)葉子結(jié)點(diǎn)。 n個(gè)權(quán)值分別設(shè)為 w1、w2、…、wn，則哈夫曼樹的構(gòu)造規(guī)則為：(1) 將w1、w2、…，wn看成是有n 棵樹的森林(每棵樹僅有一個(gè)結(jié)點(diǎn))；(2) 在森林中選出兩個(gè)根結(jié)點(diǎn)的權(quán)值最小的樹合并，作為一棵新樹的左、右子樹，且新樹的根結(jié)點(diǎn)權(quán)值為

7、其左、右子樹根結(jié)點(diǎn)權(quán)值之和；(3)從森林中刪除選取的兩棵樹，并將新樹加入森林；(4)重復(fù)(2)、(3)步，直到森林中只剩一棵樹為止，該樹即為所求得的哈夫曼樹。,CBOW模型+Hierarchical Softmax方法（續(xù)）,為什么建哈夫曼樹？,非葉子結(jié)點(diǎn)為L(zhǎng)R分類器,葉子結(jié)點(diǎn)對(duì)應(yīng)詞典中的一個(gè)詞,目標(biāo)：,目標(biāo)：,Word2Vec設(shè)置了一個(gè)非常簡(jiǎn)單的能量函數(shù) E(A,C)=-(A?C),(內(nèi)積),假如C可以分成G，H兩類，又明確

8、A屬于Gp(A│C)=p(A|G)p(G|C) 這樣即把每次的p(A│C)計(jì)算復(fù)雜度從O（N）降到O（LogN）,CBOW模型+Hierarchical Softmax方法（續(xù)）,句子：我,喜歡,觀看,巴西,足球,世界杯w=足球,CBOW模型+Hierarchical Softmax方法（續(xù)）,正類概率:負(fù)類概率:"足球" 葉子節(jié)點(diǎn)經(jīng)過(guò)4次二分類由Context("足球")

9、預(yù)測(cè)"足球"出現(xiàn)的概率,對(duì)于葉節(jié)點(diǎn)的每一個(gè)詞，有一個(gè)全局唯一的編碼，形如"1001"。在訓(xùn)練階段，當(dāng)給定上下文，要預(yù)測(cè)的詞是w_t的時(shí)候，我們事先可以知道它的編碼是1001。我們就從二叉樹的根節(jié)點(diǎn)開始遍歷，我們希望在根節(jié)點(diǎn)，隱層詞向量Xw和與根節(jié)點(diǎn)相連經(jīng)過(guò)logistic計(jì)算得到bit=1的概率盡量接近0，在第二層，希望其bit=1的概率盡量接近1，這么一直下去，我們把一路上計(jì)算得到的概率相乘

10、，即得到目標(biāo)詞w_t在當(dāng)前網(wǎng)絡(luò)下的概率P(w_t)，那么對(duì)于當(dāng)前這個(gè)sample的殘差就是1-P(w_t)損失函數(shù)就是要最小化 這個(gè)殘差,word2vec實(shí)戰(zhàn)（一）,訓(xùn)練數(shù)據(jù)集：經(jīng)過(guò)分詞后的新聞數(shù)據(jù)，大小184MB查看"中國(guó)"，"釣魚島"，"旅游"，"蘋果"幾個(gè)詞語(yǔ)的相似詞語(yǔ)如下所示,word2vec實(shí)戰(zhàn)（一）,向量加減法"中國(guó)+北京-日本

11、"，"中國(guó)+北京-法國(guó)"，"家庭+孩子-學(xué)校",word2vec應(yīng)用（一）,機(jī)器翻譯語(yǔ)言詞語(yǔ)的關(guān)系集合被表征為向量集合向量空間內(nèi)，不同語(yǔ)言享有許多共性實(shí)現(xiàn)一個(gè)向量空間到另一個(gè)向量空間的映射和轉(zhuǎn)換圖為英語(yǔ)和西班語(yǔ)的五個(gè)詞在向量空間中的位置（已經(jīng)過(guò)降維）對(duì)英語(yǔ)和西班語(yǔ)之間的翻譯準(zhǔn)確率高達(dá)90%,word2vec應(yīng)用（三）,給廣告主推薦用戶T媒體網(wǎng)站用戶瀏覽網(wǎng)頁(yè)的記錄p

12、ageH是匹克體育用品公司在T上的官網(wǎng)page2,page3,page5和pageH是比較相似的頁(yè)面可給匹克體育用品公司推薦經(jīng)常瀏覽page2,3,5這個(gè)幾個(gè)頁(yè)面的用戶進(jìn)行廣告投放,word2vec應(yīng)用（三）,相似的頁(yè)面計(jì)算過(guò)程,word2vec應(yīng)用（三）續(xù),對(duì)預(yù)估模型的幫助新廣告上線存在冷啟動(dòng)問(wèn)題通過(guò)比較相似的廣告的點(diǎn)擊率來(lái)預(yù)估這個(gè)廣告的點(diǎn)擊率由上個(gè)例子可得到每個(gè)頁(yè)面的向量，然后通過(guò)Kmeans進(jìn)行聚類，得到比較相似頁(yè)面的簇