基于主題爬蟲的食品安全網(wǎng)絡(luò)輿情分析方法研究與監(jiān)測(cè)系統(tǒng)開發(fā).pdf

1、近年來(lái)“食品安全”問(wèn)題屢見不鮮，嚴(yán)重影響到人們的日常生活，為了能夠及時(shí)的從網(wǎng)絡(luò)新聞中發(fā)現(xiàn)可能會(huì)爆發(fā)的熱點(diǎn)話題，尤其是具有負(fù)面影響的食品安全事件，幫助政府相關(guān)部門及時(shí)了解事件的發(fā)展動(dòng)向和社會(huì)輿論，本文對(duì)其進(jìn)行了方法研究和實(shí)現(xiàn)。
　　本文的主要研究?jī)?nèi)容可以分為三個(gè)部分:主題爬蟲的改進(jìn)和實(shí)現(xiàn)、輿情分析及話題提取、食品安全輿情分析系統(tǒng)的開發(fā)。
　　對(duì)于主題爬蟲部分，在主題爬蟲技術(shù)的基本原理和關(guān)鍵技術(shù)的基礎(chǔ)上，提出了一種改進(jìn)的主題爬蟲

2、方法:將傳統(tǒng)的網(wǎng)頁(yè)正文獲取技術(shù)進(jìn)行了改進(jìn)，得到一種基于HTML代碼解析和文字密度相結(jié)合的正文抽取方法，可以一定程度提高正文抽取的準(zhǔn)確率;將文本相似度計(jì)算中的向量空間模型方法進(jìn)行了改進(jìn)，得到一種降維VSM的多參考因素的相似度計(jì)算方法，并結(jié)合網(wǎng)頁(yè)內(nèi)容與主題內(nèi)容進(jìn)行相似度的計(jì)算;與此同時(shí)，優(yōu)化了爬蟲的初始種子模塊和動(dòng)態(tài)閾值調(diào)整模塊;對(duì)大規(guī)模URL的排序、去重和多線程也進(jìn)行了相應(yīng)的改進(jìn)。經(jīng)過(guò)對(duì)各個(gè)模塊的優(yōu)化，實(shí)現(xiàn)了一個(gè)面向特定主題的爬蟲系統(tǒng)，通

3、過(guò)實(shí)驗(yàn)對(duì)比，證明改進(jìn)后的主題爬蟲在效率和精確度方面都得到了較大的提高。
　　在輿情分析及話題提取部分，通過(guò)比較幾種常用聚類算法的優(yōu)缺點(diǎn)，最終選擇使用single-pass聚類算法;并對(duì)single-pass聚類算法進(jìn)行了改進(jìn)，將聚類過(guò)程中的簇中心向量確定方法進(jìn)行了修正，得到一種基于時(shí)間參考因素的多層single-pass聚類算法;對(duì)傳統(tǒng)的話題提取過(guò)程進(jìn)行了改進(jìn)，得到一種基于向量空間模型的改進(jìn)single-pass聚類方法的話題提取