基于Spark的推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、ADissertationSubmittedtoZhejiangUn’verityfortheDeofUnlVerslgreeUeMasterofEngineering⑧TITLE：旦旦苧ig衛(wèi)魚(yú)n魚(yú)至堡衛(wèi)!金堡金n主魚(yú)立量QnQ至基金魚(yú)Q堡堡皇旦魚(yú)生!y曼主金堡b壘曼金魚(yú)Q壘S衛(wèi)魚(yú)!kAuthor：Supervisor：Subject：College：SubmittedDate：20150320浙江大學(xué)碩士學(xué)位論文摘要在大數(shù)據(jù)時(shí)代背景

2、下，信息過(guò)濾是人們必須面對(duì)的問(wèn)題。對(duì)于用戶(hù)不明確或難以表達(dá)的需求，推薦系統(tǒng)通過(guò)分析用戶(hù)動(dòng)態(tài)及靜態(tài)數(shù)據(jù)，更加主動(dòng)、智能的過(guò)濾信息，從而向用戶(hù)展示他們潛在需要的東西。這一特性使得推薦系統(tǒng)在電子商務(wù)，社交網(wǎng)絡(luò)等領(lǐng)域有著重要的作用。由于要過(guò)濾海量信息，推薦系統(tǒng)面對(duì)的數(shù)據(jù)往往是規(guī)模巨大的。為了快速響應(yīng)用戶(hù)需求，推薦系統(tǒng)需要有大數(shù)據(jù)處理能力。目前這一領(lǐng)域的框架有很多，其中Spark是最新一代的計(jì)算框架，大數(shù)據(jù)處理能力很強(qiáng)，將Spark用于大數(shù)據(jù)的離

3、線(xiàn)和在線(xiàn)計(jì)算將大大提高推薦系統(tǒng)的運(yùn)行效率。本文先介紹立論的相關(guān)背景，然后深入探討大數(shù)據(jù)處理技術(shù)，包括分布式計(jì)算框架Spark，分布式文件系統(tǒng)HDFS，列式文件類(lèi)型Parquet等。同時(shí)介紹推薦系統(tǒng)的一些算法及應(yīng)用。結(jié)合大數(shù)據(jù)處理技術(shù)，本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)推薦系統(tǒng)，詳細(xì)闡述了其主要功能的實(shí)現(xiàn)方法。本論文的主要貢獻(xiàn)有：1)設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)高效的數(shù)據(jù)倉(cāng)庫(kù)，作為原始數(shù)據(jù)及推薦引擎離線(xiàn)計(jì)算結(jié)果的存儲(chǔ)倉(cāng)庫(kù)。該倉(cāng)庫(kù)能夠大大提高推薦系統(tǒng)離線(xiàn)及在線(xiàn)計(jì)算效