基于社交媒體的中文網(wǎng)絡(luò)流行語自動獲取方法研究.pdf

1、隨著互聯(lián)網(wǎng)走入我國的千家萬戶以及移動互聯(lián)網(wǎng)井噴式的發(fā)展，我國的信息社會經(jīng)歷了飛速的發(fā)展。同時(shí)，網(wǎng)絡(luò)生活的不斷豐富，越來越多的網(wǎng)絡(luò)流行語從“線上”走入到人們的“線下”生活中。網(wǎng)絡(luò)流行語作為網(wǎng)絡(luò)環(huán)境中的交際語言，簡單實(shí)用、生動活潑，深受網(wǎng)民的追捧，在一定程度上影響著數(shù)字化時(shí)代文化傳播的方向，是網(wǎng)絡(luò)文化的體現(xiàn)形式之一。研究網(wǎng)絡(luò)流行語對于輿情分析、熱點(diǎn)事件追蹤以及語言演化規(guī)律研究等都有重要意義。
　　目前有很多關(guān)于網(wǎng)絡(luò)流行語的評選活動，但

2、通常是通過問卷調(diào)查等人工評選方式來獲取的，這種方式主觀性強(qiáng)并且會耗費(fèi)大量的人力物力。在這種背景下，使用機(jī)器學(xué)習(xí)的方法通過計(jì)算機(jī)輔助獲取網(wǎng)絡(luò)流行語來得到客觀的網(wǎng)絡(luò)流行語排名是具有重要的學(xué)術(shù)研究價(jià)值的。同時(shí)，流行語的自動獲取作為一種基于自然語言處理研究上的應(yīng)用性研究工作對計(jì)算語言學(xué)及中文信息處理的研究都具有重要意義。
　　本文提出了一種使用計(jì)算機(jī)自動獲取網(wǎng)絡(luò)流行語的模型，該模型以大規(guī)模網(wǎng)絡(luò)語料庫為基礎(chǔ)，通過使用條件隨機(jī)場模型對網(wǎng)絡(luò)語料

3、進(jìn)行分詞、網(wǎng)絡(luò)百科平臺規(guī)則提取詞條信息、漢語輸入法細(xì)胞詞庫的導(dǎo)出等步驟構(gòu)建出網(wǎng)絡(luò)流行語候選集。依據(jù)網(wǎng)絡(luò)流行語在使用度分布上存在短時(shí)間內(nèi)快速提升這一規(guī)律，對候選詞語在不同時(shí)間節(jié)點(diǎn)的使用頻度進(jìn)行統(tǒng)計(jì)并按年度對候選詞語建立概率模型，通過計(jì)算相鄰時(shí)間段的模型間的KL距離對候選網(wǎng)絡(luò)用語的流行程度進(jìn)行度量并詞語流行度得分，通過排序自動獲取網(wǎng)絡(luò)流行語。
　　最后，依據(jù)中文網(wǎng)絡(luò)流行語獲取模型設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)流行語流行度計(jì)算系統(tǒng)，該系統(tǒng)包括網(wǎng)頁信息

4、抽取、網(wǎng)絡(luò)用詞頻次統(tǒng)計(jì)、流行語流行度計(jì)算功能等模塊。使用該系統(tǒng)對2014年度網(wǎng)絡(luò)論壇大數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)的結(jié)果表明，本文提出的中文網(wǎng)絡(luò)流行語獲取模型能有效地識別網(wǎng)絡(luò)流行語，自動獲取的結(jié)果與人工協(xié)同標(biāo)記的結(jié)果具有很高的一致性。由于該方法受調(diào)查者主觀喜好的影響小，所以自動獲取的結(jié)果排名甚至在一定程度上優(yōu)于人工排序的結(jié)果，能更客觀地反映語言在真實(shí)使用中呈現(xiàn)出的特點(diǎn)與規(guī)律。該模型不僅僅為計(jì)算機(jī)輔助判定詞語的流行特性提供了參考依據(jù)，同時(shí)也提供了一種便