OLAP在視頻網(wǎng)站日志分析中的應(yīng)用.pdf

1、網(wǎng)絡(luò)視頻已經(jīng)成為繼門戶、搜索引擎之后又一熱門互聯(lián)網(wǎng)應(yīng)用。視頻網(wǎng)站不僅需要提供優(yōu)質(zhì)的視頻內(nèi)容和良好的用戶體驗，還必須具備分析運營數(shù)據(jù)的能力，從而及時做出決策。
　　 互聯(lián)網(wǎng)環(huán)境中，信息的時效性對企業(yè)具有重要意義，因此視頻網(wǎng)站要求分析軟件能夠提供實時多維分析功能，能夠?qū)σ曨l流數(shù)據(jù)做精確地統(tǒng)計。本文在討論了現(xiàn)有的網(wǎng)站分析技術(shù)之后，說明了這些技術(shù)只能對網(wǎng)頁訪問進行統(tǒng)計，延時較大，在時間粒度上無法提供分鐘級別的分析，數(shù)據(jù)準確度不夠，因此不

2、能滿足視頻網(wǎng)站的分析需求。
　　 本文分析了視頻網(wǎng)站分析的需求，基于數(shù)據(jù)倉庫理論提出了對視頻網(wǎng)站實時運營數(shù)據(jù)進行OLAP的解決方案。
　　 該方案首先定義了一套新的用戶行為跟蹤機制。該跟蹤機制通過改造網(wǎng)站客戶端，使之能將預(yù)定義的用于統(tǒng)計的事件發(fā)送到分析日志服務(wù)器上。該分析日志不同于傳統(tǒng)的服務(wù)器日志，它不是對頁面訪問的記錄信息，而是對用戶行為和視頻插件事件的記錄，是精確分析的基礎(chǔ)。
　　 該方案設(shè)計了一個具有實時E

3、TL功能的數(shù)據(jù)準備區(qū)，使用分析日志根據(jù)一個有限自動狀態(tài)機模型來維護用戶會話集合。用戶會話中含有描述網(wǎng)站用戶的數(shù)據(jù)結(jié)構(gòu)，通過每分鐘對用戶會話集合進行采樣，能夠得到最細節(jié)的基礎(chǔ)事實數(shù)據(jù)來填充數(shù)據(jù)倉庫。
　　 在數(shù)據(jù)展現(xiàn)區(qū)，本文按照視頻網(wǎng)站運營者的需求定義了維度模型，并使用OLAP引擎提供最新的多維數(shù)據(jù)。
　　 由于基礎(chǔ)事實數(shù)據(jù)以流數(shù)據(jù)形式產(chǎn)生，數(shù)量大，速度變化快，因此對數(shù)據(jù)倉庫的更新效率和物理存儲都提出了挑戰(zhàn)。本文引入流立方