基于多向量的中文新聞話題檢測(cè).pdf

1、話題檢測(cè)是處理互聯(lián)網(wǎng)新聞的一種重要方法，使用聚類(lèi)方法對(duì)新聞文檔進(jìn)行處理是實(shí)現(xiàn)話題檢測(cè)的一條重要途徑。凝聚層次聚類(lèi)算法由于具有較高聚類(lèi)精確度，且聚類(lèi)結(jié)果能夠分層展示等特點(diǎn)，具有較為廣泛的應(yīng)用。對(duì)話題檢測(cè)結(jié)果具有重要影響的因素有很多，包括：話題的表示方法、向量的加權(quán)方法、聚類(lèi)算法過(guò)程以及聚類(lèi)個(gè)數(shù)的估計(jì)方法等。本文針對(duì)話題檢測(cè)中的三個(gè)關(guān)鍵點(diǎn)：話題表示方法、向量的加權(quán)方法和聚類(lèi)個(gè)數(shù)估計(jì)算法進(jìn)行了研究。
　　本研究主要內(nèi)容包括：⑴在分析研究

2、向量空間模型、主題模型以及多向量模型的基礎(chǔ)上，將向量空間模型和主題模型相結(jié)合，給出了一種基于多向量模型的話題表示方法，同時(shí)結(jié)合基于簇中心的凝聚層次聚類(lèi)過(guò)程，給出了基于多向量的凝聚層次聚類(lèi)中的簇中心構(gòu)造及更新方法。⑵針對(duì)傳統(tǒng)TFIDF算法中存在的對(duì)特征項(xiàng)在各個(gè)類(lèi)中分布情況考慮不充分的問(wèn)題，通過(guò)將特征項(xiàng)在各個(gè)類(lèi)中的文檔分布信息引入到TFIDF算法當(dāng)中，給出了對(duì)傳統(tǒng)TFIDF的一種改進(jìn)算法，并將改進(jìn)算法與本文給出的基于多向量的凝聚層次聚類(lèi)算法