網(wǎng)絡(luò)輿情文摘生成技術(shù)中相似度與聚類的研究.pdf

1、網(wǎng)絡(luò)輿情文摘生成技術(shù)成為近年來(lái)研究的熱點(diǎn)，這些技術(shù)一向是國(guó)內(nèi)外信息工作者關(guān)注的領(lǐng)域。輿情文摘生成系統(tǒng)是網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)的一個(gè)子系統(tǒng)，輿情監(jiān)控系統(tǒng)的核心技術(shù)在于輿情分析引擎，涉及的最主要的技術(shù)包括文本分類、聚類、觀點(diǎn)傾向性識(shí)別、主題檢測(cè)與跟蹤、自動(dòng)摘要等計(jì)算機(jī)文本信息內(nèi)容識(shí)別技術(shù)。
　　 課題在黑龍江東北網(wǎng)絡(luò)臺(tái)開(kāi)發(fā)黑龍江省網(wǎng)絡(luò)宣傳輿情監(jiān)控系統(tǒng)的項(xiàng)目下完成，實(shí)現(xiàn)了互聯(lián)網(wǎng)輿情信息文摘生成中的相似度計(jì)算和聚類兩個(gè)技術(shù)難點(diǎn)。重點(diǎn)闡述了相似

2、度算法的優(yōu)化，并進(jìn)行了設(shè)計(jì)與測(cè)試，利用互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行了驗(yàn)證。選擇了不同聚類算法，利用實(shí)驗(yàn)驗(yàn)證了所選聚類算法的合理性。
　　 論文論述了互聯(lián)網(wǎng)輿情文摘生成技術(shù)中的相似度計(jì)算、聚類生成過(guò)程和文摘句的抽取。通過(guò)基于詞頻相似度計(jì)算、基于依存結(jié)構(gòu)和增加語(yǔ)義依存結(jié)構(gòu)的相似度的計(jì)算的論述，說(shuō)明了相似度計(jì)算方法的不斷改進(jìn)，其粘確度越來(lái)越高，它的準(zhǔn)確性將直接影響句子的壓縮、合并、以及最后的生成。文本的聚類是文摘生成系統(tǒng)中承接相似度計(jì)算和文摘抽取生