基于MapReduce的可擴展協(xié)同過濾算法的研究.pdf

1、隨著計算機網(wǎng)絡(luò)技術(shù)和存儲技術(shù)的高速發(fā)展，互聯(lián)網(wǎng)上的信息呈現(xiàn)出爆炸式增長，人類已經(jīng)邁入大數(shù)據(jù)時代。用戶要在海量數(shù)據(jù)中挑選出自己真正需要的信息好比大海撈針，如何在眾多信息中迅速挖掘用戶感興趣的關(guān)鍵信息并推送給用戶成為當(dāng)下學(xué)界和業(yè)界共同關(guān)注的熱點問題。近年來，推薦系統(tǒng)作為一種智能的個性化信息服務(wù)技術(shù)在國內(nèi)外得到迅速崛起并在電子商務(wù)、視頻娛樂、社交網(wǎng)絡(luò)等多個領(lǐng)域得到廣泛應(yīng)用。如今，個性化推薦技術(shù)已經(jīng)成為各大企業(yè)和科研機構(gòu)的重要研究方向。

2、　　經(jīng)過多年的發(fā)展，推薦系統(tǒng)已經(jīng)衍生了協(xié)同過濾推薦、基于內(nèi)容的推薦、混合推薦等多種推薦技術(shù)。其中，協(xié)同過濾推薦技術(shù)是發(fā)展最為成熟應(yīng)用最為廣泛的推薦技術(shù)。但是，協(xié)同過濾算法也存在數(shù)據(jù)稀疏問題、擴展性問題等先天缺陷，特別在大數(shù)據(jù)背景下，協(xié)同過濾算法的擴展性問題被進一步放大，使之成為協(xié)同過濾推薦技術(shù)甚至推薦系統(tǒng)領(lǐng)域的發(fā)展和應(yīng)用的瓶頸。
　　本文深入剖析了傳統(tǒng)協(xié)同過濾算法的擴展性問題產(chǎn)生的原因，結(jié)合推薦系統(tǒng)的實際應(yīng)用環(huán)境對算法中相似性計算

3、部分展開討論，最終著日艮于輸入數(shù)據(jù)的預(yù)處理，對基于用戶的協(xié)同過濾算法進行了改進。該改進算法采用了一種基于“詞袋”模型的多級倒排索引結(jié)構(gòu)來對有效數(shù)據(jù)進行過濾。同時提出了一種軟匹配策略彌補了數(shù)據(jù)過濾造成的誤差。
　　在算法的實現(xiàn)方面，云計算技術(shù)的出現(xiàn)也為傳統(tǒng)協(xié)同過濾算法的擴展性問題提供了新的解決思路。在大數(shù)據(jù)背景下，對算法采取并行化實現(xiàn)是不二選擇。本文通過分析Hadoop云計算平臺的作業(yè)流程和MapReduce分布式框架的編程思想，對