政府網(wǎng)站分布式日志存儲與分析系統(tǒng)研究.pdf

1、隨著網(wǎng)絡技術(shù)的發(fā)展，電子政務越來越被視為超越常規(guī)公共服務的手段。各國都在研究如何改進政府網(wǎng)站以及在線服務的質(zhì)量，進而提高政府的效率，增加政府的公信力。論文結(jié)合我國政府網(wǎng)站的發(fā)展現(xiàn)狀，基于Hadoop技術(shù)，提出通過在分布式環(huán)境下收集并分析網(wǎng)站的訪問日志來獲取用戶的興趣點與行為模式，進而為政府網(wǎng)站的建設與維護提供數(shù)據(jù)支持，以達到提高政府網(wǎng)站服務質(zhì)量，提升公民滿意度的目的。本文從以下幾個方面給出了研究思路和方法。
　?。?）詳細分析了目

2、前我國電子政務的發(fā)展現(xiàn)狀，并總結(jié)了電子政務存在的優(yōu)點和缺點；指出了電子政務中日志分析的重要性；通過對國內(nèi)外與電子政務日志分析有關(guān)的技術(shù)和方法的研究，提出了本文的研究目標和框架。
　?。?）從分布式數(shù)據(jù)存儲和處理的角度，介紹了當前比較流行的幾種分布式技術(shù)，包括：兩種分布式文件系統(tǒng)（GFS和HDFS），一種并行計算編程模型（MapReduce）。
　　（3）針對系統(tǒng)需求，利用模塊化思想將系統(tǒng)劃分為日志收集、日志存儲和日志分析等功

3、能模塊；并對系統(tǒng)的總體結(jié)構(gòu)進行了設計，提出了適合政府網(wǎng)站及其下屬部門網(wǎng)站日志集中收集的層次架構(gòu)，并對各個層的功能進行了定義。
　?。?）從本地日志收集和分布式日志收集兩個方面論證了日志收集的具體實現(xiàn)方法。本地日志收集方式采用目前常用的Javascript標記日志收集方式，并結(jié)合Web Beacon方式實現(xiàn)日志跨域存儲；分布式日志收集則采用開源的Apache Flume分布式日志收集系統(tǒng)進行實現(xiàn)。
　?。?）分別對日志的分布式