基于主題和類別的網(wǎng)絡(luò)新聞采集系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)新聞成為人們獲取信息的重要來(lái)源之一。網(wǎng)絡(luò)新聞具有傳播速度快、影響范圍大、社會(huì)受眾面廣等優(yōu)點(diǎn)，但是也存在一些虛假性、低質(zhì)量的網(wǎng)絡(luò)新聞，網(wǎng)絡(luò)新聞質(zhì)量的參差不齊降低了用戶的閱讀體驗(yàn)。另外，網(wǎng)絡(luò)新聞在某種程度上成為網(wǎng)絡(luò)輿論的來(lái)源和傳播途徑，因此在海量的網(wǎng)絡(luò)新聞數(shù)據(jù)中采集到真實(shí)、準(zhǔn)確、結(jié)構(gòu)化的網(wǎng)絡(luò)新聞數(shù)據(jù)成為網(wǎng)絡(luò)輿情研究的重點(diǎn)。本文面向主題網(wǎng)絡(luò)新聞和類別網(wǎng)絡(luò)新聞，著重解決了網(wǎng)絡(luò)新聞采集中主題采集、類別采集的問(wèn)題，并在其基本功

2、能的實(shí)現(xiàn)基礎(chǔ)上，進(jìn)一步考慮提高系統(tǒng)的性能。本文引入了主題爬蟲(chóng)和SVM分類器的概念，引入了Xpath和多線程的技術(shù)，在以上理論和技術(shù)的基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于主題和類別的網(wǎng)絡(luò)新聞采集系統(tǒng)，系統(tǒng)具有采集并存儲(chǔ)主題網(wǎng)絡(luò)新聞和類別網(wǎng)絡(luò)新聞的功能。在基于主題的網(wǎng)絡(luò)新聞采集中，本系統(tǒng)通過(guò)計(jì)算頁(yè)面相似度的方法形成爬取的優(yōu)先級(jí)隊(duì)列，然后通過(guò)Xpath技術(shù)抽取主題網(wǎng)絡(luò)新聞的標(biāo)題、網(wǎng)址、發(fā)布時(shí)間、發(fā)布來(lái)源、正文等內(nèi)容，最后將采集到的主題性網(wǎng)絡(luò)新聞數(shù)據(jù)存

3、儲(chǔ)到系統(tǒng)數(shù)據(jù)庫(kù)中。在基于類別的網(wǎng)絡(luò)新聞采集中，本文引入Libsvm包來(lái)實(shí)現(xiàn)分類器的訓(xùn)練和構(gòu)造，然后通過(guò)Xpath技術(shù)抽取類別新聞的標(biāo)題、網(wǎng)址、發(fā)布時(shí)間、發(fā)布來(lái)源、正文等內(nèi)容，類別包括社會(huì)、娛樂(lè)、財(cái)經(jīng)和體育，最后將采集到的類別性網(wǎng)絡(luò)新聞數(shù)據(jù)存儲(chǔ)到系統(tǒng)數(shù)據(jù)庫(kù)中。
　　本研究首先介紹了網(wǎng)絡(luò)新聞采集的研究背景和意義，著重介紹了國(guó)內(nèi)外對(duì)于主題爬蟲(chóng)、分類器的研究工作；其次介紹了網(wǎng)絡(luò)新聞采集過(guò)程中涉及的理論和技術(shù)，包括Robots協(xié)議、通用網(wǎng)絡(luò)

4、爬蟲(chóng)、支持向量機(jī)、主題爬蟲(chóng)搜索策略、Xpath技術(shù)等；對(duì)系統(tǒng)的需求進(jìn)行了分析和介紹，對(duì)系統(tǒng)的體系結(jié)構(gòu)進(jìn)行了整體設(shè)計(jì)，對(duì)系統(tǒng)的模塊組成進(jìn)行了詳細(xì)設(shè)計(jì)，其中系統(tǒng)的模塊包括新聞網(wǎng)站種子注入模塊、網(wǎng)頁(yè)源代碼獲取模塊、網(wǎng)頁(yè)解析模塊、分類模塊、主題過(guò)濾模塊、URL調(diào)度模塊、URL去重模塊、網(wǎng)頁(yè)信息抽取模塊、數(shù)據(jù)庫(kù)存儲(chǔ)模塊；另外，在系統(tǒng)整體設(shè)計(jì)和詳細(xì)設(shè)計(jì)的基礎(chǔ)上，通過(guò)調(diào)用 ICTCLAS包和 Libsvm包，實(shí)現(xiàn)了以上設(shè)計(jì)的諸多模塊，進(jìn)一步地實(shí)現(xiàn)了基