突發(fā)事件網(wǎng)絡(luò)輿情自動摘要關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和應(yīng)用,網(wǎng)絡(luò)已經(jīng)成為人們獲取信息的重要來源。與此同時,人們也可以利用網(wǎng)絡(luò)的開放性、虛擬性、共享性與即時性作為自己表達觀點、態(tài)度和情緒的平臺。其主要表現(xiàn)形式大多以非結(jié)構(gòu)化和半結(jié)構(gòu)化的評論網(wǎng)頁的形式,如產(chǎn)品評論、時事評論、新聞評論、影視評論、股票評論等。突發(fā)事件一旦發(fā)生,就是人們所評論的熱點對象,由于近年來突發(fā)事件發(fā)生的頻率、產(chǎn)生的影響、及其造成的損失都呈遞增的趨勢,加之網(wǎng)絡(luò)輿情形成迅速,如不及時處理,將會在社會上產(chǎn)生巨

2、大影響,這使得突發(fā)事件的應(yīng)急管理及相關(guān)研究變得十分必要。對突發(fā)事件的網(wǎng)絡(luò)輿情的掌控成為突發(fā)事件應(yīng)急管理的關(guān)鍵,如何快速的從海量的網(wǎng)絡(luò)文信息當(dāng)中及時地掌控關(guān)鍵的信息,成為亟待解決的問題。經(jīng)過長期分析研究,對抽取網(wǎng)絡(luò)相關(guān)文檔的信息產(chǎn)生突發(fā)事件網(wǎng)絡(luò)輿情摘要,以分析摘要取代海量數(shù)據(jù)的分析,是一種可行的解決辦法。本文試圖將事件抽取技術(shù)、意見抽取技術(shù)以及自動摘要技術(shù)綜合起來,對突發(fā)事件引發(fā)的網(wǎng)絡(luò)輿情產(chǎn)生摘要使用戶通過摘要信息就能夠熟知所發(fā)生的事件,

3、以及網(wǎng)絡(luò)民眾對該事件的看法和輿論走向。
　　 本文通過對不同網(wǎng)絡(luò)信息源的結(jié)構(gòu)進行分析,設(shè)定相應(yīng)的抓取模板使信息采集系統(tǒng)能夠有效地根據(jù)特定的信息源進行定向循環(huán)數(shù)據(jù)采集,并實現(xiàn)定站定主題檢索,同時執(zhí)行多個抓取任務(wù),各個任務(wù)之間互斥并發(fā)執(zhí)行。在斷句環(huán)節(jié)上,突破以往單純以標(biāo)點符號作為斷句標(biāo)志的局面,通過建立指示詞表作為句子切分與組合的重要手段。采用KTDictSeg中文分詞系統(tǒng),作為系統(tǒng)的分詞組件。為提高KTDictSeg的分詞的精度,

4、在KTDictSeg的基礎(chǔ)上對該軟件的人名等未登錄詞識別和新詞發(fā)現(xiàn)做了改進,實驗證明,該分詞系統(tǒng)的分詞速度理想,分詞準確率達百分之九十以上。并以層次法聚類的思想為基礎(chǔ),設(shè)計了一種句子聚類算法,并通過實驗數(shù)據(jù)證明該算法還適用于文本聚類。以H.P.Edmundson提出的四個決定句子重要性的方法為基礎(chǔ),設(shè)定了若干句子重要度評分規(guī)則,用于句子重要度的計算。句子的情感分析是網(wǎng)絡(luò)輿情摘要的關(guān)鍵,為了獲得句子的情感值,本文以HowNet為基礎(chǔ)建立了