基于Spark的推薦系統(tǒng)的研究.pdf

1、浙江理工大學(xué)學(xué)位論文獨(dú)創(chuàng)性聲明本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。除了文中特別加以標(biāo)注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得浙江理工大學(xué)或其他教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料。與我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說明并表示謝意。學(xué)位論文作者簽名：孝硯偉簽字日期：矽f7年眵月，；曰浙江理工大學(xué)碩士學(xué)位論文基于Spark的推薦系統(tǒng)的研究基

2、于Spark的推薦系統(tǒng)的研究摘要隨著互聯(lián)網(wǎng)和信息技術(shù)的高速發(fā)展，有海量的信息數(shù)據(jù)產(chǎn)生，怎么能夠從紛繁復(fù)雜的信息中，獲取有價(jià)值的數(shù)據(jù)是一個(gè)亟待解決的問題。推薦系統(tǒng)是解決這一問題的有效方法之一，推薦系統(tǒng)是一種從用戶的歷史行為以及喜好信息中給目標(biāo)用戶推薦產(chǎn)品的應(yīng)用，廣泛地應(yīng)用于電子商務(wù)、視頻音樂門戶網(wǎng)站等多個(gè)鄰域。然而依然存在數(shù)據(jù)稀疏性、冷啟動(dòng)、系統(tǒng)預(yù)測(cè)準(zhǔn)確率不理想的問題。特別是隨著用戶數(shù)以及物品數(shù)不斷增加，基于單機(jī)的傳統(tǒng)推薦算法遇到不可擴(kuò)展

3、性的瓶頸，很難滿足當(dāng)今的商業(yè)需求，而結(jié)合分布式計(jì)算平臺(tái)的并行化實(shí)現(xiàn)為解決這個(gè)問題提供了新的思路。Spark是一種新型的基于內(nèi)存的通用并行化大數(shù)據(jù)計(jì)算引擎，由于其迭代并行化的計(jì)算優(yōu)勢(shì)，在大數(shù)據(jù)處理方面得到廣泛的關(guān)注，本文主要研究了基于鄰域和基于模型的推薦算法，針對(duì)其稀疏性、冷啟動(dòng)及預(yù)測(cè)準(zhǔn)確率不理想的問題，進(jìn)行算法改進(jìn)，并將其在Spark集群上并行化設(shè)計(jì)與實(shí)現(xiàn)優(yōu)化算法。具體的研究的方面如下：(1)針對(duì)基于用戶的協(xié)同過濾算法存在的評(píng)分?jǐn)?shù)據(jù)稀疏

4、情況下推薦預(yù)測(cè)準(zhǔn)確率不理想的問題，引入了用戶屬性特征相似度。本文在計(jì)算用戶相似度時(shí)，組合了用戶屬性特征相似度和用戶協(xié)同過濾相似度，以此來(lái)緩解評(píng)分?jǐn)?shù)據(jù)稀疏性對(duì)計(jì)算用戶相似度的影響。并在Spark平臺(tái)實(shí)現(xiàn)了優(yōu)化后的算法，通過實(shí)驗(yàn)結(jié)果分析，優(yōu)化的基于用戶的協(xié)同過濾算法，提高了推薦預(yù)測(cè)準(zhǔn)確率，也改善了算法的執(zhí)行效率。(2)針對(duì)基于物品的協(xié)同過濾算法存在冷啟動(dòng)情況下預(yù)測(cè)準(zhǔn)確率不理想的問題，引入了物品屬性特征相似度。本文在計(jì)算物品相似度度時(shí)，組合了