基于互聯(lián)網(wǎng)用戶特征的商品推薦系統(tǒng)研究——基于Hadoop和Mahout.pdf

1、隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)開始呈爆炸式的增長，互聯(lián)網(wǎng)用戶越來越被淹沒在數(shù)據(jù)的海洋之中。因此，如何幫助用戶從海量的信息中找到真正感興趣的資源成為一個亟待解決的問題。商品推薦系統(tǒng)作為電子商務網(wǎng)站一種通用的商品信息過濾手段，通過收集用戶的個性化信息，預測用戶可能感興趣的商品，從而進行針對具體用戶的個性化商品推薦。但是，傳統(tǒng)的商品推薦系統(tǒng)在具體運行中面臨著冷啟動、數(shù)據(jù)稀疏性和可擴展性等問題。
　　本文從商品推薦系統(tǒng)的研究背景、研究意義和研

2、究現(xiàn)狀入手，對推薦系統(tǒng)常見算法以及所面臨的問題進行了較深入研究。在此基礎上，提出了基于用戶特征的推薦算法和改進的基于項目的協(xié)同過濾算法，從而在一定程度上緩解了推薦系統(tǒng)面臨的主要挑戰(zhàn)。最后，借助于Mahout、MapReduce、Hive和HBase等工具，本文在Hadoop平臺上實現(xiàn)了這些算法，并構建了一個基于用戶特征的商品推薦系統(tǒng)原型?？偨Y(jié)起來，本文的主要工作體現(xiàn)在以下幾個方面:
　　1)對用戶冷啟動問題的改進:對多維數(shù)據(jù)交叉利

3、用方法進行擴展，并通過整合全網(wǎng)絡用戶行為的日志信息，從中挖掘用戶的興趣及偏好特征，提出了基于用戶特征的推薦算法，從而在一定程度上緩解了用戶冷啟動問題。
　　2)對數(shù)據(jù)稀疏性問題的改進:將商品粗粒度化方法應用到傳統(tǒng)的協(xié)同過濾算法中，提出了改進的基于項目的協(xié)同過濾算法。該算法對商品按照品類計算相似度，在此基礎上將該品類下評分最高的一些商品推薦給用戶，從而在一定程度上緩解了數(shù)據(jù)稀疏性問題。
　　3)對可擴展性問題的改進:應用Map

4、Reduce、Hive和Mahout工具，在Hadoop上實現(xiàn)了基于用戶特征的推薦算法和改進的基于項目的協(xié)同過濾算法，完成了算法的并行化，從而在一定程度上提高了系統(tǒng)的可擴展性。本文將商品信息存儲到HBase中，用戶特征信息存儲到Hive中，借助于Hive分析用戶的特征，有效地解決了大數(shù)據(jù)的存儲與分析問題。
　　4)借助于Hadoop、MapReduce、Hive、HBase和Mahout等工具，設計并實現(xiàn)了基于用戶特征的商品推薦系