大規(guī)模用戶在線行為數(shù)據(jù)分析.pdf

1、最近十年來(lái)全世界網(wǎng)民的數(shù)量呈現(xiàn)快速增長(zhǎng)的趨勢(shì),截止2011年1月全世界網(wǎng)民的數(shù)量已經(jīng)超過(guò)了20億。在線用戶規(guī)模的急劇擴(kuò)大使得用戶在線行為分析在很多研究領(lǐng)域的意義顯得越來(lái)越重大,如在經(jīng)濟(jì)、學(xué)術(shù)以及社會(huì)事務(wù)等領(lǐng)域。其中,最具有商業(yè)價(jià)值要數(shù)用戶在線商業(yè)意圖(OnlineCommercial Intention)的挖掘。通過(guò)分析用戶的在線行為來(lái)挖掘出用戶個(gè)人興趣及傾向,為有針對(duì)性的廣告投放提供有力的依據(jù),從而達(dá)到更好的廣告推薦效果。
　　

2、文中提出了一種檢測(cè)用戶商業(yè)意圖的新方法架構(gòu),通過(guò)分析用戶瀏覽過(guò)的網(wǎng)頁(yè)信息,從中挖掘出用戶個(gè)性化的購(gòu)買傾向。借助于大型購(gòu)物平臺(tái)上搜索引擎的歷史記錄以及搜索結(jié)果頁(yè)面上商品的點(diǎn)擊分布情況,通過(guò)統(tǒng)計(jì)分析建立起搜索詞與商品類目之間的關(guān)聯(lián)—關(guān)鍵詞詞典。利用這一詞典我們可以從用戶瀏覽過(guò)的網(wǎng)頁(yè)內(nèi)容中抽取出一系列能夠體現(xiàn)用戶商業(yè)意圖的關(guān)鍵詞,關(guān)鍵詞選取的標(biāo)準(zhǔn)包括關(guān)鍵詞的TF、ICF、QF以及關(guān)鍵詞本身的長(zhǎng)度。每一個(gè)關(guān)鍵詞根據(jù)關(guān)鍵詞詞典將被映射到一系列的商

3、品類目,其中分值最高的幾個(gè)商品類目將視為頁(yè)面的商業(yè)意圖檢測(cè)結(jié)果。為了消除一些不相關(guān)類目對(duì)于用戶商業(yè)意圖結(jié)果的影響并使得OCI結(jié)果更加集中,類目的相似度模型被引入來(lái)修正OCI結(jié)果中的分值。用戶每天的商業(yè)意圖通過(guò)聚合其當(dāng)天瀏覽過(guò)頁(yè)面的OCI結(jié)果得到。為了體現(xiàn)出商業(yè)意圖短暫、靈活多變的特點(diǎn),我們提出了用戶時(shí)間維度上的商業(yè)意圖模型來(lái)更真實(shí)地體現(xiàn)出用戶的實(shí)時(shí)商業(yè)意圖變化。
　　為了評(píng)估所提出OCI檢測(cè)方法的效果,在實(shí)驗(yàn)部分,通過(guò)制定統(tǒng)一的評(píng)

4、測(cè)標(biāo)準(zhǔn),評(píng)測(cè)人員對(duì)于隨機(jī)抽取的1036個(gè)測(cè)試頁(yè)面的商業(yè)意圖結(jié)果進(jìn)行了人工標(biāo)注。從標(biāo)注結(jié)果與系統(tǒng)檢測(cè)結(jié)果的對(duì)比中可知,在檢測(cè)商業(yè)意圖存在的角度,系統(tǒng)判斷的準(zhǔn)確率達(dá)到了70％,召回率達(dá)到了將近90%;而從系統(tǒng)匹商業(yè)類目的角度來(lái)看,系統(tǒng)匹配商業(yè)類目的正確率達(dá)到了86%。通過(guò)后續(xù)的實(shí)驗(yàn)我們還發(fā)現(xiàn),通過(guò)限制頁(yè)面關(guān)鍵詞的數(shù)量以及設(shè)定匹配類目最小闕值等方法可以有效地提升系統(tǒng)檢測(cè)商業(yè)意圖的整體效果。
　　作為最終的分析結(jié)果,系統(tǒng)以一系列商品類目的

5、形式給出了用戶在一段時(shí)間內(nèi)的商業(yè)意圖。根據(jù)商品類目在一段時(shí)間內(nèi)的分值變化情況,可以推測(cè)出用戶在這一段時(shí)間內(nèi)購(gòu)買某一類商品的傾向及對(duì)應(yīng)程度。通過(guò)構(gòu)建合適的用戶購(gòu)買行為模型,可以對(duì)目標(biāo)用戶進(jìn)行有針對(duì)性的商品推薦。
　　借助于大規(guī)模分布式計(jì)算架構(gòu),文中所提到的OCI檢測(cè)系統(tǒng)流程可以應(yīng)用于大規(guī)模用戶行為數(shù)據(jù)的分析。正在運(yùn)營(yíng)的系統(tǒng)每天可以處理十億級(jí)別的用戶瀏覽記錄,用來(lái)分析得到幾千萬(wàn)用戶的具體商業(yè)意圖,每個(gè)小時(shí)的數(shù)據(jù)處理量大約在150GB。