基于LDA和WordNet的研究主題動(dòng)態(tài)演進(jìn)挖掘.pdf

1、目前，互聯(lián)網(wǎng)中存在大量的電子科技論文檔案，如何管理和分析這些文檔已經(jīng)變得越來(lái)越重要。本文以此作為切入點(diǎn)，著重挖掘論文集中潛在的研究主題以及主題的動(dòng)態(tài)演進(jìn)規(guī)律。本文采用LDA作為挖掘科技論文研究主題的工具，在 LDA的基礎(chǔ)上加入WordNet豐富文檔集語(yǔ)義知識(shí)，然后利用本文的方法對(duì)論文集中的主題以及主題動(dòng)態(tài)演進(jìn)挖掘進(jìn)行了探討。由于論文集中含有豐富的作者信息，本文最后也對(duì)作者的主題以及主題動(dòng)態(tài)演進(jìn)進(jìn)行了挖掘。具體來(lái)說(shuō)本文主要研究?jī)?nèi)容包括以下

2、三個(gè)方面：
　　（1）基于LDA和WordNet的研究主題挖掘。對(duì)主題挖掘相關(guān)技術(shù)做了深入研究，選擇了LDA模型作為主題挖掘工具。但在研究過(guò)程中發(fā)現(xiàn) LDA有很多不足，提出在應(yīng)用LDA模型之前和之后分別加入WordNet。所謂在應(yīng)用LDA模型之前應(yīng)用WordNet，用WordNet加入單詞的同義詞到詞匯集中，然后再利用LDA挖掘研究主題。所謂在應(yīng)用LDA之后應(yīng)用WordNet，首先利用LDA得到研究主題，然后用WordNet合并研

3、究主題中的相應(yīng)同義詞。為了驗(yàn)證方法的有效性，我們對(duì)此進(jìn)行了相關(guān)的實(shí)驗(yàn)。
　?。?）研究主題隨時(shí)間的動(dòng)態(tài)演進(jìn)挖掘。具體來(lái)說(shuō)有兩種方法：1）基于概率模型的方法。根據(jù)主題文檔矩陣得到每篇文檔屬于每個(gè)主題的概率，然后將文檔集中的文檔以某時(shí)間段為單位分組，在每一個(gè)文檔小組中，以所有文檔屬于主題概率的均值作為主題強(qiáng)度，然后將主題在所有時(shí)間段的主題強(qiáng)度圖像化顯示即可得到主題的動(dòng)態(tài)演進(jìn)規(guī)律。2）基于聚類的方法。設(shè)定閾值，如果文檔屬于主題的概率大于

4、這個(gè)閾值，則認(rèn)為其屬于主題，然后將主題中的文檔以某時(shí)間段為單位進(jìn)行分組，以此時(shí)間段內(nèi)的文檔數(shù)作為主題的主題強(qiáng)度，然后將主題在所有時(shí)間段的主題強(qiáng)度圖像化顯示即可得到主題的動(dòng)態(tài)演進(jìn)規(guī)律。實(shí)驗(yàn)結(jié)果顯示兩種方法得出的結(jié)論是基本一致的。
　?。?）作者的研究主題及其動(dòng)態(tài)演進(jìn)挖掘。由于文檔集中含有大量的作者信息，對(duì)作者的相關(guān)主題進(jìn)行了挖掘。然而發(fā)現(xiàn)單一作者的相關(guān)論文數(shù)據(jù)比較稀疏，對(duì)其進(jìn)行實(shí)驗(yàn)的結(jié)果不理想，提出利用co-author關(guān)系構(gòu)建作者