基于Labeled LDA的微博用戶興趣識(shí)別系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、微博是一個(gè)基于用戶關(guān)系的信息分享、傳播以及獲取平臺(tái)，內(nèi)容簡(jiǎn)單、用戶之間的交互性強(qiáng)、使用門檻低是微博的特點(diǎn)，近年在我國(guó)取得了快速發(fā)展。微博作為當(dāng)下最流行的社會(huì)化網(wǎng)絡(luò)服務(wù)媒體，基于微博的用戶興趣挖掘研究也迅速成為一個(gè)新興的研究課題:首先發(fā)現(xiàn)感興趣的微博賬戶與信息是微博用戶最重要的活動(dòng)，微博平臺(tái)則需要準(zhǔn)確地基于用戶的興趣進(jìn)行相關(guān)信息的推薦;其次用戶興趣識(shí)別系統(tǒng)是實(shí)現(xiàn)精準(zhǔn)廣告投放的基礎(chǔ)，興趣挖掘的準(zhǔn)確度直接關(guān)系到廣告投放的效果，關(guān)系到微博平臺(tái)的

2、盈利。
　　本文作者在分析新浪微博的信息特點(diǎn)和用戶行為特點(diǎn)的基礎(chǔ)上，學(xué)習(xí)了傳統(tǒng)的使用詞向量進(jìn)行文本特征表示的文本分類算法，并基于無(wú)監(jiān)督、無(wú)層次結(jié)構(gòu)的主題模型LDA(Latent Dirichlet Allocation，隱含狄利克雷分配)，擴(kuò)展實(shí)現(xiàn)了有監(jiān)督、無(wú)層次結(jié)構(gòu)的主題模型Labeled LDA，用于對(duì)微博用戶興趣分布的識(shí)別。本文主要研究了用戶興趣識(shí)別過程中涉及到的關(guān)鍵問題，主要包括以下三個(gè)方面的工作:(1)使用Python開

3、發(fā)針對(duì)新浪微博的定制網(wǎng)絡(luò)爬蟲，繞開微博API的限制，實(shí)現(xiàn)微博文本的并發(fā)快速獲取，為研究工作提供了及其豐富的實(shí)驗(yàn)數(shù)據(jù);(2)學(xué)習(xí)文本分類技術(shù)，使用有監(jiān)督、無(wú)層次結(jié)構(gòu)的主題模型Labeled LDA，用微博主題賬號(hào)的微博文本進(jìn)行模型的訓(xùn)練，用于對(duì)其他微博用戶興趣的預(yù)測(cè);(3)考慮海量數(shù)據(jù)的場(chǎng)景，使用Hadoop、Hive等分布式框架，實(shí)現(xiàn)海量中文文本數(shù)據(jù)的分布式分詞與預(yù)處理。最終，通過用戶興趣識(shí)別系統(tǒng)得到的用戶興趣分布的數(shù)據(jù)在實(shí)際中成功的應(yīng)