基于Hadoop的電子商務(wù)推薦系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著科學技術(shù)的迅猛發(fā)展，全球網(wǎng)民數(shù)量的急劇增加，互聯(lián)網(wǎng)幾乎普及到人們?nèi)粘Ｉ钪械姆椒矫婷妫S之而來的是信息量的爆炸式增長，尤其是在電子商務(wù)方面。大量的數(shù)據(jù)引起的“信息過載”問題給人們帶來的不是用戶擁有更多的選擇權(quán)，而是無所適從，無法從數(shù)量龐大的商品中選擇出自己需要的商品。如何在大量的商品中迅速找到用戶的興趣點并推薦給用戶，就成為現(xiàn)在電商們密切關(guān)注的問題了。很多電子商務(wù)網(wǎng)站為了解決這一問題，采用了在網(wǎng)站中加入搜索引擎方案和信息分類手段，但

2、是這需要用戶主動和電子商務(wù)網(wǎng)站進行交互，而且對于那些需求不明確的用戶，電子商務(wù)網(wǎng)站也不能提供相關(guān)商品頁面展示給用戶。
　　為了克服這些新問題，給用戶帶來更好的購物體驗，眾多學者和企業(yè)為此做出大量研究，提出了推薦系統(tǒng)的概念。它可以更為智能和主動地去尋找用戶的興趣點并將相對應(yīng)的商品推薦給用戶，用戶可能只是在瀏覽相關(guān)網(wǎng)頁而并沒有輸入任何關(guān)鍵性信息就獲得了推薦服務(wù)，為顧客帶來便利的同時也提高了電子商務(wù)網(wǎng)站中客戶的忠誠度。
　　本論文

3、首先闡述了推薦系統(tǒng)的國內(nèi)外研究現(xiàn)狀和發(fā)展歷程，然后介紹了推薦系統(tǒng)的核心：推薦算法，但是傳統(tǒng)的推薦算法已經(jīng)無法用來處理海量數(shù)據(jù)集，而且還會遇到“冷啟動”和數(shù)據(jù)稀疏的問題。為了解決這些問題，本文深入研究了Hadoop分布式平臺的理論和優(yōu)勢，將傳統(tǒng)的基于用戶的協(xié)同過濾推薦算法、基于物品的協(xié)同過濾推薦算法、Slope-One推薦算法和ALS-WR推薦算法實現(xiàn)代碼進行修改，使其能夠在Hadoop集群中進行分布式計算。借助于以上的理論支撐和并行化算

4、法的實現(xiàn)，實驗搭建了基于Hadoop平臺的分布式推薦系統(tǒng)，并在GroupLens數(shù)據(jù)集上對上述4類算法進行對比和參數(shù)調(diào)優(yōu)?？偨Y(jié)起來主要做的工作有：
　?。?）搭建Hadoop完全分布式集群使其能夠進行海量數(shù)據(jù)的存儲和分布式計算，并對Hadoop集群進行文件配置和參數(shù)調(diào)優(yōu)以適應(yīng)實驗環(huán)境的需求。
　?。?）介紹3種傳統(tǒng)的基于用戶的協(xié)同過濾推薦算法、基于物品的協(xié)同過濾推薦算法和Slope-One推薦算法，針對推薦系統(tǒng)遇到的數(shù)據(jù)稀疏

5、的問題，實驗引入了基于模型的推薦算法ALS-WR予以解決。為了解決單機版推薦算法遇到的硬件性能瓶頸，將上述4種推薦算法的實現(xiàn)代碼進行修改，使其能夠在Hadoop平臺上進行分布式計算，以適應(yīng)現(xiàn)代電子商務(wù)網(wǎng)站應(yīng)對海量數(shù)據(jù)處理的嚴峻挑戰(zhàn)。
　?。?）將Hadoop平臺與分布式推薦算法進行結(jié)合，以HDFS和MySQL作為混合存儲結(jié)構(gòu)，借助于Tomcat和JSP技術(shù)，構(gòu)建基于Hadoop分布式平臺的推薦系統(tǒng)，并能夠以WEB服務(wù)的方式展示給用