基于Spark平臺(tái)的混合推薦算法的研究與實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，數(shù)據(jù)規(guī)模呈現(xiàn)出指數(shù)增長(zhǎng)的趨勢(shì)。面對(duì)日益增長(zhǎng)的數(shù)據(jù)量，如何從中獲取所需信息成為了一個(gè)非常嚴(yán)峻的問(wèn)題。推薦系統(tǒng)是解決這一問(wèn)題的有效途徑之一。作為推薦系統(tǒng)的一個(gè)分支，協(xié)同過(guò)濾推薦技術(shù)無(wú)疑是最為典型的且應(yīng)用最廣的。它能夠根據(jù)用戶(hù)的興趣進(jìn)行個(gè)性化推薦，但是，在推薦過(guò)程中卻暴漏出一系列的問(wèn)題，例如數(shù)據(jù)稀疏性問(wèn)題、可擴(kuò)展性問(wèn)題等。
　　稀疏性問(wèn)題的出現(xiàn)主要是因?yàn)閿?shù)據(jù)量不足，擴(kuò)展性問(wèn)題需要考慮算法的并行化及多集群運(yùn)行

2、。為了解決上述問(wèn)題，本文提出了Spark平臺(tái)下的基于MovieLens數(shù)據(jù)集的混合推薦算法。首先，本文利用基于擴(kuò)充矩陣的協(xié)同聚類(lèi)模型同時(shí)對(duì)用戶(hù)和電影進(jìn)行聚類(lèi)操作;然后，利用K-L距離計(jì)算出每一個(gè)用戶(hù)（電影）與其它所有用戶(hù)（電影）集群之間的距離;同時(shí)通過(guò)余弦相似度方法得到用戶(hù)（電影）間的相似度，并在距離較近的用戶(hù)（電影）集群中篩選出每一個(gè)用戶(hù)（電影）的相似程度較高的相似用戶(hù)（電影）集合?；诘玫降南嗨萍?，本文運(yùn)用基于用戶(hù)的方法和基于電影