基于維基百科的短文本相關(guān)度計算.pdf

1、隨著移動通信技術(shù)與社交媒體的發(fā)展，中文短文本形式的信息已滲透在社會和生活的各個領(lǐng)域。巨大信息量的增長也催生出巨大的使用價值，如何挖掘出這些文本的深層價值成為了一個熱門話題。因此自然語言處理成為了研究者的研究熱點。語義相關(guān)度計算作為自然語言處理領(lǐng)域一項基本性的研究工作，被廣泛地應(yīng)用于查詢擴展、詞義消歧、機器翻譯、知識抽取、自動糾錯等領(lǐng)域。而短文本作為一種新興的文本信息源，字?jǐn)?shù)較少，所表述的概念信號弱、特征信息模糊，因而難以抽取有效的特征信

2、息。
　　鑒于短文本所表達(dá)的信息有限，因此需要大量的背景知識來對樣本特征進(jìn)行擴展。維基百科作為目前世界上最大的、多語種的、開放式的在線百科全書，得到很多研究者的青睞，因此本文選擇中文維基百科作為外部語料庫，維基百科的結(jié)構(gòu)信息以及語義信息也為短文本語義分析提供了基礎(chǔ)。
　　本文將短文本分為詞語和句子兩部分，首先提出了一種基于維基百科的詞語間相關(guān)度的計算方法。該方法主要結(jié)合維基百科中的結(jié)構(gòu)信息及語義信息，維基百科的主要結(jié)構(gòu)包括分

3、類體系結(jié)構(gòu)、摘要中的鏈接結(jié)構(gòu)、正文中鏈接結(jié)構(gòu)以及重定向消歧頁等，提出一種綜合類別相關(guān)度與鏈接相關(guān)度的計算詞語間相關(guān)度的方法。為了探究詞語語義深層信息，提出了利用關(guān)聯(lián)規(guī)則計算詞語相關(guān)度的計算方法。
　　在此基礎(chǔ)上，本文提出了句子間相關(guān)度的計算方法，主要從三大方面入手：句子結(jié)構(gòu)間的相關(guān)度計算、基于詞對的相關(guān)度計算以及利用聚類對主題詞加權(quán)的聚類相關(guān)度計算。其中，句子結(jié)構(gòu)又包括兩方面：詞形和詞序。在詞形相關(guān)度計算上，主要通過計算詞共現(xiàn)的頻

4、率來體現(xiàn)；在詞序計算上，通過逆序數(shù)的計算來體現(xiàn)?；谠~對的相關(guān)度計算主要考慮句子中詞語的深度語義信息，更符合人類主觀認(rèn)識。聚類主要是將語義相關(guān)的詞語或文本聚為一類或一簇，本文將其利用到句子間相關(guān)度的計算上，提高句子相關(guān)度計算的準(zhǔn)確率。
　　在理論方法成型的基礎(chǔ)上，完成實驗方案的設(shè)計。首先，下載處理中文維基百科語料；其次完成詞語以及句子間相關(guān)度的計算；最后將計算結(jié)果與人工標(biāo)注集進(jìn)行對比，本實驗選用了人工翻譯WordSimilarit