基于維基百科的微博文本語義概念擴(kuò)展研究.pdf

1、隨著微博的日趨流行，它已經(jīng)成為市場(chǎng)營銷、情報(bào)工作和名譽(yù)管理等行業(yè)的重要信息來源。Twitter等微博網(wǎng)站日漸成為海量數(shù)據(jù)信息的發(fā)布平臺(tái)，對(duì)微博的研究逐漸從挖掘單一的用戶關(guān)系向挖掘微博自身的內(nèi)容進(jìn)行轉(zhuǎn)變。由于微博用語具有隨意性、創(chuàng)造性以及長度受限等特點(diǎn)，機(jī)器通過語義分析來智能的理解微博內(nèi)容的真實(shí)含義至今仍然具有很大的挑戰(zhàn)。
　　現(xiàn)有的微博文本概念擴(kuò)展方法較少。已有方法大都需要提取非常多的文本特征且僅考慮到局部詞語之間的關(guān)系。由于微博

2、概念擴(kuò)展的核心是判斷概念詞與微博本身關(guān)系的緊密程度，因此本文從微博整體出發(fā)，將微博中的所有關(guān)鍵詞語看作一個(gè)整體，從而將微博中所有關(guān)鍵詞語組成的語義近似于微博本身的語義。
　　本文的主要工作如下：
　　1.為了更好地理解微博中的信息，我們提出了一種基于維基百科的概念擴(kuò)展方法來為微博內(nèi)容增加語義。該方法首先在維基百科中自動(dòng)識(shí)別出與微博語義相關(guān)的概念，然后對(duì)這些增加的概念做進(jìn)一步的數(shù)據(jù)挖掘，以減少人工檢查和篩選的勞動(dòng)量。具體來說，

3、該方法采用了消歧模型計(jì)算維基百科中概念之間的語義相似度，然后基于得到的語義關(guān)系為微博增加相關(guān)的維基百科概念。通過實(shí)驗(yàn)對(duì)該方法進(jìn)行了測(cè)試，并同基于互信息的方法作了比較。實(shí)驗(yàn)結(jié)果表明本文提出的基于詞義消歧的方法是可行且有效的。
　　2.本文通過充分利用維基百科中的類別網(wǎng)和內(nèi)部鏈接所包含的語義信息來計(jì)算概念與概念之間的語義，從而降低了噪音對(duì)詞義消歧模型的影響。通過實(shí)驗(yàn)驗(yàn)證了本文提出的基于類別網(wǎng)的方法和基于內(nèi)部鏈接的方法。實(shí)驗(yàn)結(jié)果表明，這