基于Spark平臺(tái)的實(shí)時(shí)流計(jì)算推薦系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、用戶在面對(duì)海量信息時(shí)無法從中獲得對(duì)自己真正有用的那部分信息，對(duì)信息的使用效率反而降低，這就是信息超載問題。推薦系統(tǒng)是一種解決信息超載問題非常有效的辦法，它根據(jù)用戶的信息、興趣等，將用戶感興趣的信息或商品推薦給用戶。然而，現(xiàn)有的推薦系統(tǒng)大多是通過定期計(jì)算來更新推薦結(jié)果，造成推薦結(jié)果不夠精確，這就是推薦系統(tǒng)的實(shí)時(shí)性問題。另外，對(duì)于新加入的用戶或商品由于缺少必要的數(shù)據(jù)，因此無法對(duì)其產(chǎn)生推薦，這就是所謂的冷啟動(dòng)問題。
　　針對(duì)上述問題，本

2、文旨在解決推薦算法的冷啟動(dòng)問題和推薦系統(tǒng)的實(shí)時(shí)性問題，并設(shè)計(jì)與實(shí)現(xiàn)一個(gè)基于Spark實(shí)時(shí)流計(jì)算的推薦系統(tǒng)，即根據(jù)實(shí)時(shí)數(shù)據(jù)更新推薦結(jié)果。本文的主要研究?jī)?nèi)容包括：
　?。?）針對(duì)推薦算法的冷啟動(dòng)問題，提出基于聚類與特征映射的矩陣分解算法。該算法首先對(duì)用戶/商品的屬性信息進(jìn)行聚類，得出新用戶/新商品的k個(gè)最近鄰。然后對(duì)新用戶/新商品進(jìn)行特征映射，用k近鄰的特征信息計(jì)算出新用戶/新商品的特征向量，有了這些特征向量就可以對(duì)新用戶/新商品進(jìn)行

3、推薦，解決了算法的冷啟動(dòng)問題。實(shí)驗(yàn)表明本文提出的基于聚類與特征映射的矩陣分解算法的推薦結(jié)果更加精確。
　?。?）針對(duì)推薦系統(tǒng)的實(shí)時(shí)性問題，設(shè)計(jì)一個(gè)能夠?qū)崟r(shí)計(jì)算的流處理架構(gòu)。該架構(gòu)把推薦系統(tǒng)分成離線計(jì)算和在線計(jì)算兩部分，能夠充分利用傳統(tǒng)的離線推薦算法，并結(jié)合在線處理方法，提高推薦系統(tǒng)實(shí)時(shí)計(jì)算的能力。所設(shè)計(jì)的實(shí)時(shí)推薦系統(tǒng)采用Spark做在線處理，并且能夠根據(jù)用戶在線評(píng)分和歷史評(píng)分?jǐn)?shù)據(jù)集來實(shí)時(shí)計(jì)算，實(shí)現(xiàn)了推薦結(jié)果的實(shí)時(shí)更新。
　　

4、（3）基于Spark的實(shí)時(shí)流計(jì)算推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。首先對(duì)實(shí)時(shí)流計(jì)算的推薦系統(tǒng)進(jìn)行需求分析，包含功能需求分析、性能需求分析和總體架構(gòu)分析。然后對(duì)系統(tǒng)進(jìn)行設(shè)計(jì)，包括三個(gè)關(guān)鍵模塊：一是對(duì)模擬用戶評(píng)分模塊進(jìn)行設(shè)計(jì)，包含數(shù)據(jù)的范圍、數(shù)據(jù)的格式和數(shù)據(jù)產(chǎn)生的頻率及數(shù)量等。二是對(duì)基于Spark Streaming的實(shí)時(shí)流計(jì)算模塊進(jìn)行設(shè)計(jì)，包含實(shí)時(shí)流計(jì)算和一些關(guān)鍵性的功能的設(shè)計(jì)。三是基于MLlib對(duì)推薦引擎模塊進(jìn)行設(shè)計(jì)，包含模型的訓(xùn)練、模型的測(cè)試和推