基于詞語(yǔ)網(wǎng)絡(luò)的關(guān)鍵字提取策略研究.pdf

1、關(guān)鍵字是表述文檔中心內(nèi)容的詞匯，是計(jì)算機(jī)系統(tǒng)標(biāo)引論文內(nèi)容特征的詞匯，是便于信息系統(tǒng)匯集以供讀者檢索的詞匯。關(guān)鍵字提取是文本挖掘領(lǐng)域的一個(gè)分支，是文檔檢索、文檔比較、摘要生成、文檔分類(lèi)和聚類(lèi)的基礎(chǔ)性工作。 關(guān)鍵字提取算法可分為兩類(lèi)：基于訓(xùn)練集的關(guān)鍵字提取策略和不需要訓(xùn)練集的關(guān)鍵字提取策略。基于訓(xùn)練集的方法將關(guān)鍵字提取視為分類(lèi)問(wèn)題，通過(guò)將文檔中出現(xiàn)的詞語(yǔ)劃分到關(guān)鍵字類(lèi)或非關(guān)鍵字類(lèi)，再?gòu)年P(guān)鍵字類(lèi)中選擇若干個(gè)詞語(yǔ)作為關(guān)鍵字，該類(lèi)算法由P

2、eter．D．Turney首次提出，其技術(shù)已日趨成熟。 不需要訓(xùn)練集的算法，可分為以下四類(lèi)：基于統(tǒng)計(jì)的方法，如頻率統(tǒng)計(jì)：基于詞語(yǔ)圖的方法，如KeyGraph：基于詞語(yǔ)網(wǎng)絡(luò)的方法，如中介性指標(biāo)(BC，Betweenness Centrality)；基于SWN的方法；上述四種方法都是建立在詞頻統(tǒng)計(jì)基礎(chǔ)上?；诮y(tǒng)計(jì)的方法簡(jiǎn)單快速，能夠提取高頻詞語(yǔ)，卻忽略對(duì)文檔具有重要意義但出現(xiàn)頻率不高的詞語(yǔ)，因此提取的關(guān)鍵字具有片面性。基于詞語(yǔ)圖的方

3、法需要設(shè)定的參數(shù)過(guò)多，如頂點(diǎn)數(shù)、邊數(shù)等，因而常造成邊界上的取舍問(wèn)題，影響算法的穩(wěn)定性和精度。基于SWN的方法是以平均距離K度為關(guān)鍵字提取依據(jù)，而SWN理論以連通圖為基礎(chǔ)，故對(duì)非連通的文檔結(jié)構(gòu)圖，無(wú)法衡量頂點(diǎn)的重要性，也無(wú)法正確地提取文檔關(guān)鍵字。 本文主要研究基于詞語(yǔ)網(wǎng)絡(luò)的關(guān)鍵字提取算法，在分析已有基于詞語(yǔ)網(wǎng)絡(luò)的關(guān)鍵字提取算法的基礎(chǔ)上，針對(duì)存在問(wèn)題，提出一個(gè)新的基于詞語(yǔ)網(wǎng)絡(luò)的英文文檔關(guān)鍵字提取策略，采用節(jié)點(diǎn)刪除指標(biāo)度量頂點(diǎn)(詞語(yǔ))