基于NoSQL的Web日志分析系統(tǒng)的設(shè)計(jì).pdf

1、如今的互聯(lián)網(wǎng)發(fā)展迅猛，互聯(lián)網(wǎng)企業(yè)也面臨極大挑戰(zhàn)，每天會(huì)被數(shù)以萬計(jì)甚至百萬千萬的用戶訪問。為了提供更好的服務(wù)質(zhì)量，了解用戶的訪問特點(diǎn)及用戶需求，迫切需要對(duì)用戶的訪問行為進(jìn)行分析研究。根據(jù)研究出來的用戶行為規(guī)律來改進(jìn)網(wǎng)站，吸引更多用戶的眼球，從而給客戶帶來更好的體驗(yàn)，同時(shí)給公司帶來商機(jī)。Web日志分析便因此而產(chǎn)生。所謂的Web日志分析，就是收集用戶訪問網(wǎng)頁時(shí)產(chǎn)生的所有日志信息，進(jìn)而對(duì)這些日志進(jìn)行數(shù)據(jù)轉(zhuǎn)化、清洗、挖掘的一個(gè)過程。
　　

2、 互聯(lián)網(wǎng)企業(yè)的壯大以及應(yīng)用系統(tǒng)規(guī)模的擴(kuò)充，相應(yīng)日志信息的數(shù)量級(jí)也在同步增長。傳統(tǒng)的單機(jī)版日志分析系統(tǒng)完全不能達(dá)到目前互聯(lián)網(wǎng)企業(yè)日志分析的需求，為此，大規(guī)模數(shù)據(jù)處理平臺(tái)就成為日志分析的理想平臺(tái)。
　　 本文主要研究Hadoop分布式計(jì)算框架和MongoDB分布式數(shù)據(jù)庫，并基于Hadoop和MongoDB設(shè)計(jì)高效的Web日志分析方案。在Hadoop和MongoDB中基于MapReduce進(jìn)行算法設(shè)計(jì)時(shí)，本文提出了映射(mapping