基于Hadoop的推薦算法的研究與應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展和互聯(lián)網(wǎng)信息爆炸式的增長(zhǎng)，推薦系統(tǒng)越來越受到人們的關(guān)注。微博，作為今后互聯(lián)網(wǎng)發(fā)展方向的一個(gè)重要的代表模式，已經(jīng)成為了許多人最重要的溝通、營(yíng)銷工具。微博用戶規(guī)模巨大且還在繼續(xù)增長(zhǎng)，產(chǎn)生的海量微博數(shù)據(jù)的處理和利用，成為一個(gè)熱門的研究課題，而對(duì)這些海量的微博數(shù)據(jù)重要的應(yīng)用之一，就是基于微博用戶數(shù)據(jù)的推薦。
　　本文將在著重討論與研究相關(guān)的海量數(shù)據(jù)處理技術(shù)的同時(shí)，研究與設(shè)計(jì)一個(gè)新的微博數(shù)據(jù)推薦應(yīng)用——“根據(jù)用戶興趣推薦

2、關(guān)注”，論文的主要工作如下:
　　首先，研究與討論了信息服務(wù)個(gè)性化的需求和推薦系統(tǒng)及其常用技術(shù)，包括信息檢索技術(shù)及信息過濾技術(shù)。在信息過濾技術(shù)的介紹中，重點(diǎn)闡述了基于內(nèi)容的過濾技術(shù)和協(xié)同過濾技術(shù)的算法思想和各自的優(yōu)缺點(diǎn)。
　　其次，本文研究與討論了基于Google三大核心技術(shù)原理而實(shí)現(xiàn)的一個(gè)優(yōu)秀的開源項(xiàng)目:Hadoop項(xiàng)目，主要涉及到了相關(guān)的Hadoop Map Reduce架構(gòu)，HBase文件存儲(chǔ)，HDFS分布式文件系統(tǒng)。

3、
　　最后，對(duì)基于MapReduce進(jìn)行算法改進(jìn)的基本原則和技巧進(jìn)行了研究，然后對(duì)推薦系統(tǒng)中常用的基于內(nèi)容的推薦算法進(jìn)行了詳細(xì)分析，并闡述了基于MapReduce的算法改進(jìn);設(shè)計(jì)了一個(gè)基于Hadoop的微博用戶推薦系統(tǒng)，介紹了該系統(tǒng)的設(shè)計(jì)思路、體系結(jié)構(gòu)和數(shù)據(jù)結(jié)構(gòu)，并對(duì)基于用戶個(gè)人資料、基于微博內(nèi)容、基于用戶關(guān)注關(guān)系的推薦算法思路進(jìn)行了詳細(xì)闡述。
　　實(shí)驗(yàn)表明，論文設(shè)計(jì)的微博用戶推薦系統(tǒng)，可以幫助用戶找到不易被發(fā)現(xiàn)的具有相同或