基于信息聚合的科技新聞服務(wù)研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)媒體和用戶分享渠道的增加，信息的海量增長(zhǎng)造成了嚴(yán)重的信息過(guò)載問(wèn)題。此時(shí)，相比于傳統(tǒng)的信息聚合主要關(guān)注如何提供更加豐富的資源，信息篩選與過(guò)濾反而成為更加有價(jià)值的技術(shù)。如何幫助用戶快速獲取真正感興趣的信息，提高用戶接受知識(shí)的效率成為信息聚合技術(shù)新的挑戰(zhàn)。
　　本文針對(duì)科技新聞服務(wù)中的信息過(guò)載問(wèn)題，探索了結(jié)合文本挖掘方法的信息篩選與過(guò)濾技術(shù)?；诰渥诱Z(yǔ)義相似度計(jì)算方法，提出融合文本語(yǔ)義特征的消重算法和文本聚類算法，用于新聞去重

2、、社會(huì)關(guān)注熱點(diǎn)挖掘、用戶感興趣話題的精準(zhǔn)定位。具體工作內(nèi)容與成果包括:
　　1.提出了一種基于語(yǔ)義的短文本消重技術(shù)。針對(duì)新聞聚合中的信息冗余問(wèn)題，提出了一種不僅能檢測(cè)出字面上重復(fù)或者近似重復(fù)，還能檢測(cè)出“話題重復(fù)”——報(bào)導(dǎo)同一事件的新聞的消重算法。文中首先探討了句子語(yǔ)義相似度計(jì)算的一般方法，并對(duì)基于Word Embedding詞向量計(jì)算句子相似度的方法進(jìn)行了改進(jìn)，將句子語(yǔ)義相似度計(jì)算用于判定新聞的話題相似度。實(shí)驗(yàn)證明，和單純的基于

3、字面的消重算法對(duì)比，該算法能在保持較高消重準(zhǔn)確率的前提下，較大幅度提高召回率，因而該算法能夠更大程度上去除新聞聚合的冗余。
　　2.提出了一種基于語(yǔ)義和圖的短文本聚類算法。傳統(tǒng)的文本聚類算法往往采用詞包(Bag-of-words)模型，忽略了文本包含的語(yǔ)義信息;而基于中心劃分的聚類算法，容易將概念相關(guān)的自然簇強(qiáng)制分開。本文通過(guò)融合詞向量語(yǔ)義模型和能發(fā)現(xiàn)強(qiáng)連接自然簇的圖聚類算法，提出了一種短文本聚類算法，彌補(bǔ)了傳統(tǒng)算法的不足。通過(guò)對(duì)