基于自然語言處理的社交網(wǎng)絡(luò)數(shù)據(jù)挖掘研究.pdf

1、微博是一種目前非常熱門的社交平臺，用戶以短文本或多媒體信息的方式在平臺上實(shí)現(xiàn)實(shí)時(shí)的信息分享與交流。用戶發(fā)布的文本雖短，但長時(shí)間積累下來的數(shù)據(jù)蘊(yùn)含著豐富的用戶的個(gè)性化特征等信息。平臺的用戶數(shù)據(jù)中蘊(yùn)含著豐富的社會信息價(jià)值，微博用戶數(shù)據(jù)挖掘?qū)τ谏缃痪W(wǎng)絡(luò)發(fā)展與社交信息分析具有重要意義。
　　社交網(wǎng)絡(luò)數(shù)據(jù)挖掘完成的主要功能就是通過分析和挖掘用戶在微博中的海量短文本，得到用戶的個(gè)性化特征等信息。其首要工作是從網(wǎng)絡(luò)中采集大量微博數(shù)據(jù)，采用特定的

2、格式進(jìn)行信息存儲；然后對獲取的微博信息進(jìn)行分詞處理和信息特征表示處理，最后通過數(shù)據(jù)挖掘方法進(jìn)行用戶識別和用戶類型分析。
　　本文利用網(wǎng)絡(luò)爬蟲技術(shù)設(shè)計(jì)了基于模擬登錄的用戶數(shù)據(jù)爬取系統(tǒng)，提供了從網(wǎng)絡(luò)中獲取大量用戶微博數(shù)據(jù)的方法。根據(jù)用戶數(shù)據(jù)結(jié)構(gòu)特征，采用基于JSON格式的NOSQL數(shù)據(jù)庫進(jìn)行存儲。
　　針對目前分詞方法存在的新詞發(fā)現(xiàn)困難的問題，提出了基于詞典匹配與統(tǒng)計(jì)標(biāo)注相融合的中文分詞方法。本方法以字典匹配方法為基礎(chǔ)，融入CR

3、F標(biāo)注算法，并在分詞過程中迭代訓(xùn)練實(shí)現(xiàn)算法自學(xué)習(xí)能力。通過將匹配方法與標(biāo)注方法相融合，根據(jù)漢語語義規(guī)律選取分詞結(jié)果，有效改善了中文分詞在分詞準(zhǔn)確性和未登錄詞發(fā)現(xiàn)等方面的分詞效果。在測試語料上實(shí)驗(yàn)結(jié)果表明，文中提出的方法與最大正向匹配算法相比，F(xiàn)值提高了9.6%，且比CRF標(biāo)注算法提高了2.9%，能更好地滿足實(shí)際應(yīng)用需求。
　　目前的微博數(shù)據(jù)挖掘中主要采用 One-hot representation特征表示方法，其缺點(diǎn)是不能表達(dá)上

4、下文語義。本文采用基于 word2vec的用戶特征表示方法，在用戶特征表示中加入了上下文信息并且降低了用戶信息向量維度，提高了后續(xù)數(shù)據(jù)挖掘算法的計(jì)算效率。
　　通過對微博用戶數(shù)據(jù)的分析，發(fā)現(xiàn)用戶中存在部分垃圾用戶會對數(shù)據(jù)挖掘帶來噪聲干擾，本文設(shè)計(jì)了基于 SVM的垃圾用戶識別模型對垃圾用戶進(jìn)行識別，在測試集上F值達(dá)到0.94。然后根據(jù)微博用戶關(guān)注內(nèi)容，利用K-means聚類分析算法進(jìn)行了用戶社區(qū)劃分。由于用戶社區(qū)劃分的不確定性，通過