基于層次主題模型的網(wǎng)絡新聞匯聚.pdf

1、隨著計算機技術(shù)的快速發(fā)展，互聯(lián)網(wǎng)已經(jīng)成為人們快速獲取信息的重要手段之一。尤其是移動互聯(lián)網(wǎng)的普及，使人們可以隨時隨地在互聯(lián)網(wǎng)上分享各式各樣的信息，這使得網(wǎng)絡上的數(shù)據(jù)量以極快地速度在膨脹。因此從互聯(lián)網(wǎng)浩瀚的數(shù)據(jù)海中快速準確地獲取領域相關內(nèi)容變得非常困難。如何準確地從互聯(lián)網(wǎng)上匯聚與領域相關的新聞數(shù)據(jù)已經(jīng)成為當今大數(shù)據(jù)時代的重要研究內(nèi)容。
　　有鑒于此，本文結(jié)合網(wǎng)絡爬蟲技術(shù)、文本分類技術(shù)與主題建模技術(shù)，提出了基于層次主題模型的網(wǎng)絡新聞匯聚

2、技術(shù)框架，在研究多源網(wǎng)絡數(shù)據(jù)采集與新聞網(wǎng)頁并行分類技術(shù)的基礎上，重點研究主題詞篩選技術(shù);此外，本文面向公共安全領域集成相關技術(shù)搭建了網(wǎng)絡新聞數(shù)據(jù)匯聚系統(tǒng)。具體工作如下:
　　1)基于層次主題模型的網(wǎng)絡新聞匯聚技術(shù)框架:有機整合了基于URL的新聞網(wǎng)頁爬蟲、百度新聞爬蟲、微博爬蟲、CNTV網(wǎng)絡視頻爬蟲等多種爬蟲，支持多源數(shù)據(jù)的采集;設計了層次主題模型支持通過新聞網(wǎng)頁并行分類與主題詞類別標引技術(shù)實現(xiàn)網(wǎng)絡新聞數(shù)據(jù)的分類組織。
　　2