基于Spark平臺(tái)的混合推薦算法的研究與實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，數(shù)據(jù)規(guī)模呈現(xiàn)出指數(shù)增長的趨勢(shì)。面對(duì)日益增長的數(shù)據(jù)量，如何從中獲取所需信息成為了一個(gè)非常嚴(yán)峻的問題。推薦系統(tǒng)是解決這一問題的有效途徑之一。作為推薦系統(tǒng)的一個(gè)分支，協(xié)同過濾推薦技術(shù)無疑是最為典型的且應(yīng)用最廣的。它能夠根據(jù)用戶的興趣進(jìn)行個(gè)性化推薦，但是，在推薦過程中卻暴漏出一系列的問題，例如數(shù)據(jù)稀疏性問題、可擴(kuò)展性問題等。
　　稀疏性問題的出現(xiàn)主要是因?yàn)閿?shù)據(jù)量不足，擴(kuò)展性問題需要考慮算法的并行化及多集群運(yùn)行

2、。為了解決上述問題，本文提出了Spark平臺(tái)下的基于MovieLens數(shù)據(jù)集的混合推薦算法。首先，本文利用基于擴(kuò)充矩陣的協(xié)同聚類模型同時(shí)對(duì)用戶和電影進(jìn)行聚類操作;然后，利用K-L距離計(jì)算出每一個(gè)用戶（電影）與其它所有用戶（電影）集群之間的距離;同時(shí)通過余弦相似度方法得到用戶（電影）間的相似度，并在距離較近的用戶（電影）集群中篩選出每一個(gè)用戶（電影）的相似程度較高的相似用戶（電影）集合?；诘玫降南嗨萍希疚倪\(yùn)用基于用戶的方法和基于電影