基于Hadoop和R語言的網(wǎng)絡(luò)自媒體熱點挖掘系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、自媒體作為有一種不同于主流媒體的新型媒體傳播方式，日漸被越來越多的人們所接受。在個性化鮮明的今天，人們越來越重視對事物的獨立思考，更多的大眾不愿意被一個統(tǒng)一的聲音告知對與錯，他們更愿意依據(jù)客觀事實以及自己的思考對事物做出是非判斷。所以，自媒體中的信息更加能夠反映時下社會關(guān)注趨勢以及輿論風(fēng)向。在此背景下，及時的發(fā)掘出時下自媒體話題的熱點，有助于將這些信息用于引導(dǎo)人們的生產(chǎn)生活，譬如個人的投資行為、大眾的出行行為、以及政府對輿論的引導(dǎo)都可以

2、得到優(yōu)化。
　　面對網(wǎng)絡(luò)中鋪天蓋地的自媒體內(nèi)容，傳統(tǒng)的方式已經(jīng)不能勝任對海量信息搜集和處理的工作。海量的信息需要高效、實時的處理才能產(chǎn)生經(jīng)濟效益和正面的社會價值。Hadoop在分布式海量數(shù)據(jù)存儲和處理中擁有高效的性能，利用Hadoop可以有效的解決傳統(tǒng)方式帶來的困難，幫助我們在海量的自媒體信息中提取有價值的信息。R語言擅長統(tǒng)計、計算、制圖，R語言的重點是對樣本數(shù)據(jù)的分析，，利用R語言可以有效地完成文本分類任務(wù)。
　　本課題來

3、源于成都市經(jīng)信委。屬于實驗室與某研究所的聯(lián)合項目。課題重在研究和實現(xiàn)基于Hadoop和R語言的自媒體信息挖掘系統(tǒng)。本文從數(shù)據(jù)的搜集、存儲、挖掘、分析、展示等各個環(huán)節(jié)入手，詳細(xì)的描述整個研究過程。本課題的主要工作如下：
　　（1）借助Nutch爬蟲抓取自媒體站點內(nèi)容。利用HTML Parser工具對抓取的網(wǎng)頁內(nèi)容進(jìn)行處理并對其結(jié)構(gòu)化存儲，按照XML的形式存放文本信息。
　?。?）對網(wǎng)頁文本分詞處理，并進(jìn)行特征化提取，借助TF-