中文維基百科的結(jié)構(gòu)化信息抽取及詞語(yǔ)相關(guān)度計(jì)算.pdf

1、為了提高計(jì)算機(jī)的智能化程度，在自然語(yǔ)言處理的過程中，加入語(yǔ)義知識(shí)的理解是非常必要的。隨著日益增長(zhǎng)的信息處理需求，如何從海量的語(yǔ)料資源中自動(dòng)地獲取豐富的語(yǔ)義知識(shí)，以及如何有效地利用這些語(yǔ)義知識(shí)來實(shí)現(xiàn)對(duì)文本語(yǔ)義的理解，已成為一個(gè)重要的研究課題。
　　維基百科作為一個(gè)以開放和用戶協(xié)作編輯為特點(diǎn)的Web2.0知識(shí)系統(tǒng)，具有知識(shí)面覆蓋度廣，結(jié)構(gòu)化程度高，信息更新速度快等優(yōu)點(diǎn)，其中蘊(yùn)涵有豐富的語(yǔ)義知識(shí)，是目前眾多學(xué)者進(jìn)行語(yǔ)義知識(shí)抽取所青睞的語(yǔ)

2、料數(shù)據(jù)資源。然而，維基百科的官方僅提供一些半結(jié)構(gòu)化的基本數(shù)據(jù)文件的備份，很多有用的結(jié)構(gòu)化信息和數(shù)據(jù)，并不能直接地獲取和使用。
　　為此，本文首先從這些半結(jié)構(gòu)化的基本數(shù)據(jù)中抽取整理出多種結(jié)構(gòu)化信息;接著，對(duì)維基百科的知識(shí)組織形式進(jìn)行了抽象架構(gòu)，實(shí)現(xiàn)了一套開放的API接口，減輕了用戶從中獲取結(jié)構(gòu)化信息的難度;最后，利用這些信息數(shù)據(jù)，本文提出了一種新的計(jì)算詞語(yǔ)間語(yǔ)義相關(guān)度的算法。因此，本文的主要工作包含以下幾個(gè)方面:
　　第一，結(jié)

3、構(gòu)化信息的抽取。首先從維基百科官方網(wǎng)站下載了所需的備份數(shù)據(jù)資源;接著，先把備份數(shù)據(jù)文本中的繁體字全部轉(zhuǎn)換為簡(jiǎn)體，再?gòu)闹谐槿≌沓鰲l目間內(nèi)鏈接信息，分類系統(tǒng)，錨文本數(shù)據(jù)等多種結(jié)構(gòu)化信息;然后，把這些信息全部存儲(chǔ)到數(shù)據(jù)庫(kù)中，并對(duì)重要的字段建立了索引。
　　第二，對(duì)維基百科知識(shí)組織形式的抽象架構(gòu)。首先分析了維基百科中條目的不同作用，進(jìn)而把所有的條目分為六種類型;然后，針對(duì)每種類型的條目，總結(jié)并實(shí)現(xiàn)了獲取其相應(yīng)的結(jié)構(gòu)化信息的方法;最終，實(shí)

4、現(xiàn)了一套開放的API接口，方便了用戶更直觀地了解和使用這些結(jié)構(gòu)化信息。
　　第三，提出了一種新的計(jì)算詞語(yǔ)間語(yǔ)義相關(guān)度的算法。在對(duì)比總結(jié)人工語(yǔ)義知識(shí)庫(kù)與維基百科異同點(diǎn)的基礎(chǔ)上，借鑒傳統(tǒng)算法的優(yōu)點(diǎn)，結(jié)合中文維基百科數(shù)據(jù)的自身特點(diǎn)，提出了一種新的計(jì)算詞語(yǔ)間語(yǔ)義相關(guān)度的算法，該算法綜合利用條目間內(nèi)鏈接，錨文本和分類系統(tǒng)三種結(jié)構(gòu)化信息，并通過核函數(shù)的思想，融合了分類間的語(yǔ)義知識(shí)。在實(shí)驗(yàn)部分，本文在不同的數(shù)據(jù)集上對(duì)比了本文算法與其他經(jīng)典算法的