【定稿作品】模式識別作業(yè)報(bào)告——天貓推薦算法大賽

1、模式識別作業(yè)報(bào)告模式識別作業(yè)報(bào)告——天貓推薦算法大賽天貓推薦算法大賽經(jīng)過半個(gè)學(xué)期的對模式識別課程的學(xué)習(xí)，在趙海濤老師的辛勤指導(dǎo)下，我們都對模式識別與機(jī)器學(xué)習(xí)方向有了一定的了解，但是理論終究是理論，只有能夠把知識熟練運(yùn)用到實(shí)踐當(dāng)中，才能算是真正掌握了這門知識，所以趙海濤老師布置的這個(gè)大作業(yè)能夠很好的鍛煉我們理論運(yùn)用于實(shí)際的能力。經(jīng)過小組討論，我們定下了一個(gè)基本的解決方向，然后就是組員之間分工去實(shí)現(xiàn)，下面將詳細(xì)說明我們的解決過程。一、天貓推

2、薦算法大賽簡介一、天貓推薦算法大賽簡介隨著大數(shù)據(jù)的蓬勃發(fā)展，阿里巴巴集團(tuán)希望和學(xué)術(shù)界展開更緊密的合作研究，更好的發(fā)掘大數(shù)據(jù)的價(jià)值。針對當(dāng)前學(xué)術(shù)界面臨的兩個(gè)問題，一是缺少有價(jià)值的真實(shí)的商業(yè)數(shù)據(jù)；二是缺少具有強(qiáng)大功能的計(jì)算平臺支持復(fù)雜的數(shù)據(jù)處理。阿里巴巴集團(tuán)于2014年正式推出“天池”平臺，“天池”平臺基于阿里集團(tuán)的海量數(shù)據(jù)離線處理服務(wù)ODPS，向?qū)W術(shù)界免費(fèi)提供科研數(shù)據(jù)和開放數(shù)據(jù)處理服務(wù)。2014年，阿里巴巴集團(tuán)基于“天池”平臺，在全國高校

3、啟動阿里巴巴大數(shù)據(jù)競賽（AliDataDiscovery），以天貓推薦算法大挑戰(zhàn)為主題，為更多高校學(xué)子提供大數(shù)據(jù)的實(shí)戰(zhàn)機(jī)會，推動高校對大數(shù)據(jù)和算法的研究發(fā)展和人才成長。本次大賽的賽題是“天貓推薦算法”，賽題基于真實(shí)的商業(yè)實(shí)戰(zhàn)場景，在天貓每天都會有數(shù)千萬的用戶通過品牌發(fā)現(xiàn)自己喜歡的商品，品牌推薦算法的優(yōu)化可以為消費(fèi)者、品牌和天貓平臺帶來更大的價(jià)值。天貓?zhí)峁┑臄?shù)據(jù)量，涉及千萬級天貓用戶，上萬個(gè)天貓品牌，時(shí)間跨度4個(gè)月、共計(jì)5億多條的行為記錄

4、。參賽者需要根據(jù)用戶在天貓的行為日志，建立用戶的品牌偏好，并預(yù)測他們在將來對品牌下商品的購買行為。整個(gè)比賽分為三季（season）：Season1：2014年3月10日至4月20日，參賽者可以下載少量天貓的真實(shí)行為數(shù)據(jù)，并在本地調(diào)試算法，提交結(jié)果。Season2：2014年4月25日至7月30日，參賽者須使用“天池”平臺（阿里巴巴自主研發(fā)的分布式計(jì)算平臺），訪問海量的天貓數(shù)據(jù)，并利用MapReduce、SQL及各種平臺集成的機(jī)器學(xué)習(xí)算法

5、包調(diào)試模型、提交結(jié)果。Season3（即線上賽，實(shí)戰(zhàn)雙11）：2014年10月至11月，Season2的top第五列數(shù)據(jù)的表頭為user_geohash，表示的是用戶所在的地理位置，由于這一列數(shù)據(jù)中有缺失的情況，所以在預(yù)處理中，我們刪除了這列數(shù)據(jù)；第六列數(shù)據(jù)表頭為item_categy，表示的是商品所屬的類別，這也是我們需要采用的數(shù)據(jù)之一，根據(jù)某一類商品的銷售情況來預(yù)測類中的商品的銷售情況；最后一列數(shù)據(jù)表頭為time，表示的是用戶操作的

6、時(shí)間，在我們的求解中也沒有采用這列數(shù)據(jù)，所以也在預(yù)處理中將其刪除。最終，考慮到時(shí)間以及編程復(fù)雜度問題，在原始數(shù)據(jù)表中我們只采用user_id、item_id、behavi_type和item_categy四列數(shù)據(jù)來進(jìn)行求解。并且，為了保證數(shù)據(jù)盡可能給出較好的預(yù)測結(jié)果，我們沒有從訓(xùn)練數(shù)據(jù)中摘錄部分?jǐn)?shù)據(jù)，而是使用了全部的訓(xùn)練數(shù)據(jù)。雖然這樣在數(shù)據(jù)預(yù)處理提取特征的過程中，花費(fèi)了較多的時(shí)間，但是這樣也有助于提取更多的信息，從而獲得更完整的模型。2