基于多數(shù)據(jù)源的熱點話題自動發(fā)現(xiàn)技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展,網(wǎng)絡(luò)成為一種人們獲取信息的新興媒體和渠道。面對互聯(lián)網(wǎng)上呈指數(shù)式增長的信息數(shù)據(jù),怎樣從這浩瀚的信息海洋中獲取需要的以及感興趣的信息,也成為信息時代人們普遍關(guān)注的問題。熱點話題發(fā)現(xiàn)技術(shù)是話題檢測與追蹤技術(shù)在實際中的應(yīng)用,它能夠從網(wǎng)絡(luò)信息流中發(fā)現(xiàn)熱點話題,幫助人們更加全面的了解和認識一個事件,在政府、金融、信息安全等諸多領(lǐng)域有很大的實際應(yīng)用前景。
　　本文首先概括介紹了話題檢測與追蹤技術(shù)國內(nèi)外的發(fā)展與研究

2、現(xiàn)狀,接著介紹了熱點話題發(fā)現(xiàn)技術(shù)國內(nèi)外的研究概況,分析和總結(jié)熱點話題發(fā)現(xiàn)存在和面臨的問題。針對這些問題,本文做了重點研究和改進,所做主要工作如下:
　　第一,本文綜合考慮媒體和用戶兩方面因素,通過融合兩方面的特征,提出一種基于新聞報道和微博的熱點話題熱度計算公式,對話題進行熱度評估。利用熱度計算公式對話題熱度進行評定得到熱度值,然后按照熱度值對話題進行排序,最后得到任意一段時間內(nèi)的話題熱度排序。方便人們及時了解最新、最熱話題,同時

3、利于政府部門監(jiān)控和引導(dǎo)網(wǎng)絡(luò)輿論。
　　第二,對話題發(fā)現(xiàn)算法做了改進,提出了一種基于關(guān)鍵詞的網(wǎng)絡(luò)熱點話題發(fā)現(xiàn)算法。定義了關(guān)鍵詞,并用關(guān)鍵詞的集合對話題進行表示。在改進的話題發(fā)現(xiàn)算法中,采用兩層聚類策略,首先對新聞的標(biāo)題向量進行第一次聚類,找出新出現(xiàn)的話題,設(shè)定初始閾值,對于滿足條件的報道合并到其對應(yīng)的話題集。接著對話題里存放的新聞報道進行第二次聚類,利用本文中提出的熱度計算公式進行熱度分析,最后發(fā)現(xiàn)某時間段內(nèi)的熱點話題。