基于主題模型的關(guān)鍵詞抽取算法研究.pdf

1、隨著大數(shù)據(jù)時代的來臨，海量信息充斥網(wǎng)絡(luò)，面對如此復(fù)雜而龐大的數(shù)據(jù)，快速且準(zhǔn)確地獲得關(guān)鍵信息，變得尤為重要。在文本領(lǐng)域，每天都會有海量數(shù)據(jù)產(chǎn)生，比如網(wǎng)頁新聞、論文文獻、微博輿論等，鑒于人力物力的有限性，處理如此多的數(shù)據(jù)幾乎是不可能的，而關(guān)鍵詞則能有效地概括反映文章的主題思想，人們可以借助文本的關(guān)鍵詞快速了解文本內(nèi)容，獲取到關(guān)鍵信息。關(guān)鍵詞是表達一篇文檔核心內(nèi)容的最小單元，在很多領(lǐng)域都扮演著很重要的角色，包括文檔的自動摘要、網(wǎng)頁信息抽取、文

2、檔的分類聚類、信息的檢索等。然而傳統(tǒng)的人工標(biāo)注關(guān)鍵詞耗時費力，所以需要設(shè)計出能夠自動抽取關(guān)鍵詞的算法。
　　針對以上問題，本文進行了關(guān)鍵詞抽取算法的研究，引入主題的概念，從主題角度進行關(guān)鍵詞抽取。本文的主要工作如下:
　　(1)首先對關(guān)鍵詞抽取算法進行總體概述，根據(jù)關(guān)鍵詞抽取方法的不同，分別從是否需要標(biāo)注語料、抽取的關(guān)鍵詞特征、抽取的文本語料的長度等角度，介紹了不同的關(guān)鍵詞抽取方法。
　　(2)由于傳統(tǒng)的關(guān)鍵詞抽取沒有

3、考慮到關(guān)鍵詞與文章的主題關(guān)系，本文引入主題的概念，利用LDA主題模型，結(jié)合n-grams進行關(guān)鍵詞抽取。從關(guān)鍵詞的定義中可以得知，關(guān)鍵詞要能最大程度的覆蓋文章的主題，表達文章的主題思想。該方法通過將主題語義特征結(jié)合傳統(tǒng)的統(tǒng)計特征，一定程度上能夠較好地抽取出文章的關(guān)鍵詞。
　　(3)基于圖和LDA主題模型的關(guān)鍵詞抽取算法，利用TextRank圖模型，直接將整個短語作為圖的節(jié)點，迭代計算LDA主題得分，得到短語節(jié)點間的相關(guān)性，最終候選