基于RSS的新聞采集系統(tǒng)的研究與應(yīng)用.pdf

1、基于RSS的新聞采集是信息采集領(lǐng)域內(nèi)一個(gè)新興而有實(shí)用價(jià)值的方向。RSS技術(shù)作為互聯(lián)網(wǎng)上的最新技術(shù)之一，已被廣泛接受和應(yīng)用，豐富的RSS站點(diǎn)資源正影響著互聯(lián)網(wǎng)內(nèi)容的瀏覽利用，它通過(guò)XML標(biāo)準(zhǔn)定義內(nèi)容的包裝和發(fā)布格式，使穩(wěn)定、高效、實(shí)時(shí)、安全、低成本的新聞發(fā)布、接收和使用成為可能。論文在對(duì)RSS技術(shù)進(jìn)行了深入研究的基礎(chǔ)上，針對(duì)企業(yè)信息門戶中的新聞來(lái)源多樣化、新聞采集自動(dòng)化、時(shí)效性強(qiáng)等需求，提出了基于RSS的新聞采集系統(tǒng)的設(shè)計(jì)思路，并介紹了系

2、統(tǒng)的功能實(shí)現(xiàn)。 根據(jù)在新聞采集領(lǐng)域的長(zhǎng)期研究以及國(guó)內(nèi)外在新聞采集領(lǐng)域的發(fā)展，本文在綜述了基本情況后，分析了現(xiàn)有新聞采集系統(tǒng)的現(xiàn)狀和不足，提出了一個(gè)基于RSS的新聞采集結(jié)構(gòu)模型，這包括RSS Feed解析、Web頁(yè)面解析、鏈接的提取及處理、任務(wù)控制等一系列算法和步驟，分別給出了相關(guān)的處理算法和流程。針對(duì)研究過(guò)程中遇到的問(wèn)題，提出了多個(gè)新的算法和規(guī)律： ①在分析了RSS和XML語(yǔ)法的基礎(chǔ)上，給出了對(duì)RSS Feed中新聞鏈接

3、、標(biāo)題、摘要等信息的提取算法； ②對(duì)RSS Feed頁(yè)面中各種鏈接進(jìn)行了分析，給出了鏈接處理方法和提取流程； ③對(duì)信息采集技術(shù)進(jìn)行研究，設(shè)計(jì)了利用網(wǎng)頁(yè)特征值進(jìn)行定位的新聞內(nèi)容提取策略； ④在對(duì)各大新聞網(wǎng)站進(jìn)行了研究分析的基礎(chǔ)上，總結(jié)出了新聞內(nèi)容在頁(yè)面中的分布規(guī)律，確定了新聞網(wǎng)頁(yè)定位的特征參數(shù)； ⑤在新聞采集控制過(guò)程中，利用多線程技術(shù)，設(shè)計(jì)了并行采集策略。 試驗(yàn)結(jié)果顯示，在采集系統(tǒng)中利用RSS技術(shù)，