基于Hadoop的改進(jìn)聚類協(xié)同過濾推薦算法研究.pdf

1、協(xié)同過濾推薦算法作為推薦系統(tǒng)領(lǐng)域最成功的算法之一，為解決互聯(lián)網(wǎng)時(shí)代信息過載問題發(fā)揮了重要作用。協(xié)同過濾推薦算法依據(jù)用戶對(duì)項(xiàng)目的歷史評(píng)分記錄等偏好信息，通過計(jì)算用戶或項(xiàng)目間相似度查找與用戶或項(xiàng)目相似的最近鄰居集合，在此基礎(chǔ)上預(yù)測(cè)出用戶對(duì)目標(biāo)對(duì)象的未知評(píng)分，利用集體智慧為用戶提供智能推薦服務(wù)。
　　目前在學(xué)術(shù)研究領(lǐng)域已經(jīng)提出多種協(xié)同過濾推薦算法，它們?cè)谝欢ǔ潭壬隙即蟠蟾纳屏送扑]系統(tǒng)的性能，使用戶獲得的推薦質(zhì)量更高。但隨著互聯(lián)網(wǎng)中信息和

2、數(shù)據(jù)不斷爆發(fā)式的增長(zhǎng)，互聯(lián)網(wǎng)產(chǎn)業(yè)已經(jīng)進(jìn)入了一個(gè)新的大數(shù)據(jù)時(shí)代。大數(shù)據(jù)以其數(shù)據(jù)體量大、數(shù)據(jù)類型繁多、處理速度快、價(jià)值高等特性，給計(jì)算機(jī)硬件和軟件水平都提出了更高的要求。然而在大數(shù)據(jù)背景下，傳統(tǒng)的協(xié)同過濾推薦算法存在的稀疏性和可擴(kuò)展性等問題被進(jìn)一步放大，導(dǎo)致推薦系統(tǒng)無法為用戶提供有效的推薦服務(wù)。
　　因此，為了改善協(xié)同過濾推薦算法在大數(shù)據(jù)背景下存在的稀疏性和可擴(kuò)展性等問題，本文提出了一種基于Hadoop的改進(jìn)聚類協(xié)同過濾推薦算法。首先

3、，本文提出的協(xié)同過濾推薦算法利用ALS矩陣分解算法對(duì)原始高維稀疏的用戶-項(xiàng)目評(píng)分矩陣中的缺失評(píng)分進(jìn)行填充預(yù)處理。其次，采用經(jīng)Canopy算法改進(jìn)后的K-means聚類算法對(duì)填充后的用戶-項(xiàng)目評(píng)分矩陣構(gòu)建項(xiàng)目聚類模型，挖掘項(xiàng)目之間存在的潛在關(guān)系。再次，通過目標(biāo)項(xiàng)目與項(xiàng)目聚類模型之間的相似度計(jì)算構(gòu)建目標(biāo)項(xiàng)目的推薦候選空間，在候選空間上進(jìn)行預(yù)測(cè)并生成推薦結(jié)果，這大大節(jié)省運(yùn)算資源并提升推薦效率。最后，本算法在Hadoop分布式集群上實(shí)現(xiàn)，充分利