基于Spark的混合協(xié)同過濾推薦系統(tǒng)的研究與實現(xiàn).pdf

1、如今，隨著互聯(lián)網(wǎng)的開放式發(fā)展，互聯(lián)網(wǎng)中的信息已經(jīng)開始指數(shù)級的增長，信息過載的問題愈發(fā)嚴重。如何在大量的信息中篩選出用戶需要的信息成為當今互聯(lián)網(wǎng)急待解決的問題。推薦系統(tǒng)就是在這樣的背景下誕生的，推薦系統(tǒng)能幫助用戶挖掘海量數(shù)據(jù)里深層次潛在的信息，幫助用戶快速獲取需要的內(nèi)容，從而被廣泛應(yīng)用。隨著推薦系統(tǒng)的發(fā)展，其核心的推薦算法也層出不窮。因此本文選擇推薦算法作為研究的重點之一。
　　首先，分析了在推薦算法中比較成熟的協(xié)同過濾。然而協(xié)同過

2、濾技術(shù)中，由于其過度依賴于用戶項目的評分矩陣，在有效數(shù)據(jù)不足的條件下，由于數(shù)據(jù)稀疏推薦系統(tǒng)的準確度會隨之下降。本文為解決協(xié)同過濾技術(shù)中的評分矩陣的稀疏性問題，采用了基于ALS的矩陣分解算法，將稀疏的評分矩陣分解為稠密的特征矩陣，從而解決了矩陣稀疏性的問題。另一方面，由于單個推薦算法在面對復雜的應(yīng)用環(huán)境時，推薦效果往往無法讓人滿意。本文采用結(jié)合了用戶協(xié)同過濾與項目協(xié)同過濾的混合協(xié)同過濾推薦算法，通過動態(tài)調(diào)整算法權(quán)重，保證算法的即時性。通過

3、實驗的比較可以得出，本文設(shè)計的混合推薦算法對比傳統(tǒng)的協(xié)同過濾具有較好的準確度。
　　其次，對目前混合推薦算法的特點進行分析，雖然混合推薦有較好的準確性，但是算法過程的融合導致算法復雜度增加。因此本文將推薦算法與 Spark分布式平臺進行了結(jié)合，將推薦算法中復雜的相似度計算過程進行并行化，提高了算法的計算效率。通過 MovieLens的數(shù)據(jù)集合實驗證明，混合推薦算與 Spark分布式平臺具有比較好的并行性能，同時也凸顯了 Spark