基于Hadoop的電影推薦系統(tǒng)的研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)時代信息技術(shù)的迅猛崛起，海量信息鋪天蓋地的呈現(xiàn)在網(wǎng)絡(luò)中，人們面臨著一個棘手的問題就是信息過載，不能快速發(fā)現(xiàn)目標信息。搜索引擎雖能夠幫助用戶利用核心詞檢索信息，但是在檢索結(jié)果過多或者用戶目標不明確的情況下，仍不能有效解決，推薦系統(tǒng)被認為是一種更優(yōu)秀的解決辦法，它能夠智能地根據(jù)用戶的歷史行為挖掘興趣模型，從而計算出用戶的目標內(nèi)容，目前已成功應(yīng)用在各大電商、視頻網(wǎng)站等互聯(lián)網(wǎng)公司。同時本文深入研究了分布式計算開源軟件框架Hadoop，

2、采用了MapReduce編程模型和HDFS分布式文件系統(tǒng)實現(xiàn)并改進了協(xié)同過濾推薦算法，最后設(shè)計并實現(xiàn)了一個基于Hadoop的電影推薦系統(tǒng)原型。
　　本研究主要內(nèi)容包括：⑴傳統(tǒng)的協(xié)同過濾算法僅參考評分數(shù)據(jù)計算用戶或者項目之間的相似度，并未思考其他因素對相似度計算的影響，況且評分數(shù)據(jù)極端稀疏本身就會影響相似度的計算，因此在計算基于用戶的協(xié)同過濾推薦算法時，首先利用聚類算法將用戶按照身份屬性建立模型，再對類內(nèi)用戶采用傳統(tǒng)基于用戶的協(xié)同過

3、濾推薦算法；⑵在基于項目的協(xié)同過濾推薦算法相似度計算中引入了類別相似度的概念，綜合考慮評分及項目類別，同時在評分相似度計算中加入共同評分用戶數(shù)對相似度計算的影響，最后在近鄰選取中，采用閾值法結(jié)合平均相似度及閾值共同決定目標用戶或項目的最近鄰居，避免固定值法帶來的噪聲；⑶結(jié)合分布式系統(tǒng)解決方案Hadoop，實現(xiàn)基于MapReduce編程模型和HDFS分布式文件系統(tǒng)的改進推薦算法；⑷研究分布式集群等實驗環(huán)境的部署及使用，結(jié)合本文設(shè)計的改進協(xié)