互聯(lián)網(wǎng)信息關鍵詞抽取的研究與實現(xiàn).pdf

1、關鍵詞抽取是自然語言處理領域中重要的基礎技術，被廣泛應用于信息檢索、文本聚類、文本分類等方面。目前，互聯(lián)網(wǎng)中的資訊規(guī)模急速增長，包含了大量富有價值的數(shù)據(jù)，關鍵詞是檢索及分析互聯(lián)網(wǎng)信息的重要手段。但是，相當數(shù)量的網(wǎng)頁沒有標注關鍵詞，通過人工標注是一個繁重而又困難的任務，因此，需要一種自動抽取關鍵詞的方法。同時，以微博為代表的新興信息傳播平臺出現(xiàn)，具有與傳統(tǒng)媒體不同的傳播特點，需要對傳統(tǒng)文本關鍵詞抽取方法做出改進。此外，互聯(lián)網(wǎng)具有傳播快速和

2、參與廣泛的特點，使得大量新詞不斷涌現(xiàn)，也給中文信息處理帶來了挑戰(zhàn)。
　　 本文從兩個方面研究互聯(lián)網(wǎng)信息：以網(wǎng)頁為代表的長文本信息、以微博為代表的短文本信息，主要研究工作如下：
　　 針對網(wǎng)頁信息，提出一種基于語義擴展模型、分步驟的無監(jiān)督關鍵詞抽取方法。首先，選擇詞語的網(wǎng)頁結構特征、詞性、詞長、TF-IDF值等特征，通過聚類算法抽取候選關鍵詞；然后，根據(jù)n-gram語言模型理論，引入鄰接變化數(shù)等特征構建基于詞的語義擴展模型

3、，通過無監(jiān)督方法將候選關鍵詞擴展為關鍵詞串。實驗數(shù)據(jù)表明，該方法能在一定程度上改善針對未登錄詞及短語的抽取結果，提高中文網(wǎng)頁關鍵詞抽取結果的質(zhì)量。
　　 針對海量微博信息，提出一種多步驟的熱詞抽取方法。首先，選擇用戶行為特性、微博信息的文本特征構建用戶行為模型，并在此基礎上，提出一種基于規(guī)則的話題樹生成過濾算法，篩除微博中大量無關信息，進而對生成的話題樹修剪優(yōu)化；然后，根據(jù)話題樹的節(jié)點內(nèi)容，使用詞頻及其波動特性設計熱詞抽取算法，