云計算技術在協(xié)同過濾推薦中的應用研究.pdf

1、隨著互聯(lián)網(wǎng)的蓬勃發(fā)展，人們已經(jīng)走進了大數(shù)據(jù)時代?；ヂ?lián)網(wǎng)用戶如何從海量的數(shù)據(jù)中的快速有效地搜索有價值的數(shù)據(jù)，提高信息獲取的效率，已經(jīng)成為個性化推薦領域面臨的巨大挑戰(zhàn)。近幾年來，個性化推薦技術在國內外迅速崛起并廣泛應用于電子商務、視頻音樂等領域的站點，它不僅是互聯(lián)網(wǎng)公司一直在努力攻克的技術難題，也是很多研究機構的重要研究方向。
　　傳統(tǒng)的推薦系引擎多是集中式單一節(jié)點的架構，處理能力有限，擴展性差，不適合應用于大規(guī)模數(shù)據(jù)分析和處理。目前

2、，改善單個節(jié)點推薦算法擴展性問題的方法有很多，雖然在一定程度上提高了算法擴展性，但是有限的硬件計算能力遠不能滿足日漸增長的處理需求。云計算的出現(xiàn)為這一問題的解決提供了新的思路。當前，基于分布式并行處理架構的推薦引擎已成為當前研究和應用的熱點。
　　針對傳統(tǒng)協(xié)同過濾推薦算法的擴展性瓶頸和分布式算法的效率問題，本文設計了一個基于Hadoop平臺的分布式協(xié)同過濾推薦系統(tǒng)。協(xié)同過濾推薦的經(jīng)典代表是基于用戶的協(xié)同過濾推薦和加權Slope-o

3、ne推薦。本文結合分布式數(shù)據(jù)庫HBase、分布式文件系統(tǒng)HDFS和分布式并行計算框架MapReduce對這兩種協(xié)同過濾推薦算法進行分布式實現(xiàn)，并使用HBase優(yōu)化實現(xiàn)流程，提高算法效率。本系統(tǒng)不僅支持海量稀疏性數(shù)據(jù)存儲與分析，而且有效地提高了協(xié)同過濾推薦算法的可擴展性，并提供與用戶的實時交互功能。
　　基于對HBase上MapReduce任務數(shù)據(jù)本地化問題的分析，本文提出了一種HBase的兩級負載均衡策略。該策略通過遷移節(jié)點上超載