基于Spark的并行推薦算法的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，信息技術(shù)與經(jīng)濟(jì)社會(huì)的交融碰撞，引發(fā)了數(shù)據(jù)迅猛增長(zhǎng)，顯然我們已經(jīng)進(jìn)入了大數(shù)據(jù)時(shí)代。大數(shù)據(jù)時(shí)代在帶來(lái)資訊極度豐富的同時(shí)也使得用戶在面對(duì)海量數(shù)據(jù)時(shí)需要花費(fèi)大量的時(shí)間去篩選自己真正需要的信息，信息超載的現(xiàn)象越來(lái)越明顯。協(xié)同過(guò)濾算法作為解決信息超載的關(guān)鍵技術(shù)之一，雖然被廣泛應(yīng)用于視頻音樂(lè)網(wǎng)站、電子商務(wù)等多個(gè)領(lǐng)域，但是仍然存在著預(yù)測(cè)準(zhǔn)確度不理想、冷啟動(dòng)等問(wèn)題。同時(shí)，面對(duì)日益增加的數(shù)據(jù)量，傳統(tǒng)的協(xié)同過(guò)濾算法出現(xiàn)了可擴(kuò)展性問(wèn)題，無(wú)

2、法滿足海量數(shù)據(jù)的計(jì)算需求，分布式并行計(jì)算框架的出現(xiàn)為解決該問(wèn)題提供了新的思路。Spark是新興的通用并行計(jì)算框架，借助其內(nèi)存計(jì)算的優(yōu)勢(shì)，成為近兩年大數(shù)據(jù)處理領(lǐng)域的研究重點(diǎn)。本文擬研究協(xié)同過(guò)濾算法，針對(duì)其預(yù)測(cè)準(zhǔn)確度不理想、冷啟動(dòng)等問(wèn)題進(jìn)行改進(jìn)，并將改進(jìn)算法在Spark平臺(tái)下進(jìn)行并行化設(shè)計(jì)與實(shí)現(xiàn)，從而進(jìn)一步解決算法的可擴(kuò)展性問(wèn)題。主要工作包括以下幾個(gè)方面:
　　(1)分析了協(xié)同過(guò)濾中基于項(xiàng)目、Slope One算法的基本原理和具體計(jì)算

3、流程以及算法存在的不足。
　　(2)針對(duì)基于項(xiàng)目的協(xié)同過(guò)濾算法存在的項(xiàng)目冷啟動(dòng)以及評(píng)分?jǐn)?shù)據(jù)稀疏情景下預(yù)測(cè)準(zhǔn)確度不高的問(wèn)題，本文引入了項(xiàng)目屬性特征相似度。在計(jì)算項(xiàng)目相似度時(shí)將項(xiàng)目屬性特征相似度與評(píng)分相似度進(jìn)行組合，以此來(lái)減少數(shù)據(jù)稀疏對(duì)相似度計(jì)算的負(fù)面影響。實(shí)驗(yàn)結(jié)果表明，本文的改進(jìn)算法相比傳統(tǒng)方法預(yù)測(cè)準(zhǔn)確度更高，并且在評(píng)分矩陣稀疏的情景下，效果更明顯。
　　(3)針對(duì)Slope One算法在預(yù)測(cè)評(píng)分時(shí)僅僅依賴用戶對(duì)不同項(xiàng)目的評(píng)分