基于Storm的實(shí)時(shí)推薦系統(tǒng)研究與設(shè)計(jì).pdf

1、伴隨著移動(dòng)互聯(lián)網(wǎng)，電子商務(wù)以及物聯(lián)網(wǎng)的爆發(fā)式發(fā)展，產(chǎn)生了海量的數(shù)據(jù)，產(chǎn)生了信息超載（infoamation overload）問題。當(dāng)前，此類問題的解決方法之一是使用推薦系統(tǒng)。傳統(tǒng)的推薦系統(tǒng)大多基于非實(shí)時(shí)的Hadoop處理框架，以“批”方式進(jìn)行處理，無法滿足數(shù)據(jù)的實(shí)時(shí)處理要求。而Storm對數(shù)據(jù)以“流”方式進(jìn)行處理，基于內(nèi)存進(jìn)行運(yùn)算，可以保證數(shù)據(jù)信息被快速處理，且實(shí)時(shí)更新并寫入數(shù)據(jù)庫。本文基于實(shí)時(shí)的、分布式的流數(shù)據(jù)處理框架Storm進(jìn)行

2、推薦系統(tǒng)相關(guān)研究，進(jìn)行了以下工作:
　　第一:對Storm框架進(jìn)行學(xué)習(xí)。了解消息可靠處理機(jī)制(ACK);掌握了核心組件Spout、Bolt的功能以及實(shí)現(xiàn)方法;能夠設(shè)計(jì)Topology結(jié)構(gòu)，基于Storm Trident的高級(jí)抽象進(jìn)行開發(fā)。
　　第二:基于Storm的推薦系統(tǒng)常規(guī)采用基于SVD的k-means協(xié)同過濾算法。SVD先將評分矩陣中的缺失值補(bǔ)全，然后將其分解成3個(gè)低階矩陣，最后用計(jì)算得到的用戶預(yù)測評分來更新評分矩陣的

3、缺失項(xiàng)，在矩陣項(xiàng)達(dá)到數(shù)百萬的情況下，上述過程時(shí)間消耗代價(jià)巨大。為了進(jìn)一步提升計(jì)算效率，本文提出了基于改進(jìn)SVD的k-means協(xié)同過濾算法，改進(jìn)SVD引入損失函數(shù)的概念，建立均方差最小化函數(shù)，通過梯度下降法迭代對其進(jìn)行優(yōu)化求解，簡化了矩陣分解運(yùn)算。在MovieLens-10m數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，與傳統(tǒng)SVD算法相比，本文提出算法在推薦時(shí)間效率方面得到了提升。
　　第三:實(shí)現(xiàn)了基于Storm的實(shí)時(shí)推薦系統(tǒng)，首先，增加了Flume日志采