基于hadoop2.0的推薦系統(tǒng)研究

1、I t E S E A R C H o F R E C o M M E N D A r n o NS Y S T E M B A S E D o N H A D o o P 2 ．OF ] R 八M E W O R KA D i s s e r t a t i o nS u b m i t t e dt ot h e G r a d u a t eS c h o o l o f H e n a n N o r m a l U n i v

2、 e r s i t yi nP a r t i a lF u l f i l l m e n t o f t h e R e q u i r e m e n t sf o r t h e D e g r e e o f M a s t e r o f E n g i n e e r i n gB y三加三fS u p e r v i s o r ：P r o f ．G a o H o n g q i n gM a y ，2 0 1 4

3、A B S T R A C TW i t h t h er a p i dd e v e l o p m e n to f i n f o r m a t i o nt e c h n o l o g ya n d t h ed r a m a t i ci n c r e a s ei nd a t a , t h ep r o b l e mo fi n f o r m a t i o no v e r l o a d i s g

4、e t t i n gw o v e a n d p e o p l ee v e n f e e ld a z e d t of a c et h e v a s ta m o u n t o fd a m ．T h e s eu s e r se x p e c tt oo n l yw a t c ht o p i c sa n da r t i c l e sw h i c ht h e ya r ei n t e r e s

5、t e do n t h ew e b o rm o b i l et e r m i n a l s i nr e a l t i m e ．T h er e c o m m e n d e r s y s t e m sc a nh e l p t o m e e tt h e n e e d so ft h e u s e r s ．A c c o r d i n gt o t h eu s e r ' sp e r s

6、o n a li n f o r m a t i o na n d b e h a v i o r a lc h a r a c t e r i s t i c s ，l i k eg e n d e r , a g e ，p r e f e r e n c e s ，s e l e c t i o nr c c o r d sa n dS Oo n ，i tC a ns e l e c tt h e t h i n g sw h i

7、c h p e o p l ea r e i n t e r e s t e di n f r o m t h em a s s i v e i n f o r m a t i o na n dt h e np u s ht oA sc o n t i n u o u ss a m p l i n g o f u s e r s ’i n f o r m a t i o na n db e h a v i o r a ld a t a

8、, t h eq u a l i t y o f t h e r e c o m m e n d a t i o nr e s u l ti s g e t t i n g i m p r o v e da n d e v e nc l o s e t o p r e c i s e r e c o m m e n d a t i o n ．H o w e v e r , t h e r e c o m m e n d a t i o

9、ns y s t e mh a v et o c o n s i d e ra n d s o l u t et h ee x t e n d i b i l i t yo fs t o r a g es p a c ea n dt h ee f f i c i e n c yo fa n a l y s i sa n dc a l c u l a t i o n ．I ti sn o t t h eb e s tp l a nt os

10、 o l u t et h e s ep r o b l e m s o n l yb y i m p r o v i n g t h e s t o r a g es p a c eo ra n a l y s i se f f i c i e n c y ．T h eA p a c h eH a d o o p ，ao p e ns o u r c ef r a m e w o r kb a s e do nd i s t r i

11、b u t e dc o m p u t a t i o n , c a nh e l pt os o l v et h ee x t e n d i b i l i t y p r o b l e m o f r e c o m m e n d a t i o ns y s t e m ，a n d i t ' sa l r e a d ye x i s t e ds o m es o l u t i o np r o j e

12、 c t s ．H o w e v e r , t h er e c o m m e n d a t i o ns y s t e mb a s e do n H a d o o p l ．0 e x i s t s d e f e c t i n r e l i a b i l i t y , e x p a n s i b i l i t y ,O n t h ef o u n d a t i o no f i n t e n s

13、i v es t u d yo ft h e d i s 缸伯u t e df i l e s y s t e m ( H D F S 2 ．O ) ，r e s o u r c em a n a g e m e n ts y s t e m ( Y A R N ) a n d p r o g r a m m i n gi d e a s ( M a p R e d u c e ) ，t h ep a p e rf i r s t l

14、ym a k e s a n i n t e n s i v es t u d yo f c l o u dc o m p u t i n g a r c h i t e c t u r ea n d d o e sr e s e a r c hi n t oe l a s t i cc l o u dc o m p m i n gp l a t f o r m w h i c h t a k eY A R N a sc o r e ．

15、A s an e w p r o j e c to f H a d o o p 2 ．0 ，Y A R N c o u l dl e ta v a r i e t y o fc o m p u t i n g f r a m e w o r k r a ni n o n ec l u s t e r , t h er e s o u r c em a n a g e r u n i t yo fm a n a g e m e n t ，

16、d i s p a t c ha n d a s s i g n ，S Ot h a td i s l r i b u t e dc o m p u t a t i o n e n t e r t h ee r ao f p l a t f o r m ．T h e n ，t h ep a p e rd o e sf o c u s e dr e s e a r c h o n s t o r a g e l a y e ro fc l

17、 o u d c o m p u t i n g a r c h i t e c t u r e ．I t h a sr e s e a r c h e d t h e c l o u d s t o r a g e c o n s o l i d a t i o n p l a nb a s e do nN A Sa n d S A N ，d e p l o y e d t h e p r i v a t ec l o u ds t

18、o r a g e p l a t f o r m ，g i v e ss u p p o r t t om s e a r c h o f d a t ac e n t e r a n dd a t a i n t e n s i v ec o m p u t i n g ．L a s t l y , t h ep a p e rd o e sr e s e a r c ho fm i x i n gr e c o m m e n d