基于中文維基百科的語義知識挖掘相關(guān)研究.pdf

1、為了實現(xiàn)基于自然語言的智能信息處理，計算機需要了解大量的語義知識。大規(guī)模語義詞典和知識庫通常依靠人工構(gòu)建完成，在建設(shè)和維護(hù)過程中耗費了大量的人力物力。從語料資源中自動抽取語義信息，建設(shè)大規(guī)模的語義知識資源已成為一個熱門的研究課題。維基百科是一個開放式的在線百科全書，對于自然語言處理它不止是一個大規(guī)模的語料庫，還可以用作一個包含了大量人類知識和語義關(guān)系的知識庫資源。本文從自然語言處理和語義知識資源建設(shè)兩方面出發(fā)，研究了維基百科挖掘語義信息

2、挖掘等方面的處理方法及相關(guān)應(yīng)用。 針對自然語言處理中的語義相關(guān)度計算，本文提出了基于維基百科鏈接關(guān)系(分類圖和文檔圖)的“多路徑搜索”算法。實驗下載了中文維基百科頁面并利用鏈接關(guān)系抽取出反映分類層次關(guān)系的分類圖以及反映解釋文檔超級鏈接引用的文檔圖。進(jìn)一步通過搜索多條相關(guān)路徑，綜合路徑長度及節(jié)點或鏈接權(quán)重等完成語義相關(guān)度計算。實驗利用超級鏈接引用關(guān)系抽取了大量的語義相關(guān)詞對，并建立了一個人工標(biāo)注的測試集，通過與經(jīng)典算法的對比對實驗

3、結(jié)果進(jìn)行了分析評估。 文本語義相關(guān)度的計算也可以利用維基百科實現(xiàn)語義知識擴展。實驗抽取了頁面重定向、分類層次、文本鏈接等反映語義關(guān)聯(lián)關(guān)系的鏈接結(jié)構(gòu)，并利用矩陣運算綜合了直接或間接的語義關(guān)聯(lián)關(guān)系，建立了一個包含維基百科背景知識的語義轉(zhuǎn)換矩陣。通過將文檔詞頻向量與語義轉(zhuǎn)換矩陣相乘，獲得一個在新的語義空間上的擴展向量，利用傳統(tǒng)的向量夾角余弦等方法計算文本的語義相關(guān)度。算法同樣可以用于抽取大量的存在語義相關(guān)關(guān)系的詞，作為語義相關(guān)度測試集

4、。 針對挖掘維基百科構(gòu)建語義知識資源，本文從兩個角度進(jìn)行了探索。一方面結(jié)合維基百科分類圖的層次關(guān)系及詞匯短語結(jié)構(gòu)，并利用解釋頁面文檔的句法模式等信息，挖掘出反映語義關(guān)系類別的信息，并為不包含具體語義關(guān)系類型的分類圖添加語義關(guān)系標(biāo)記，建立一個本體型語義層次網(wǎng)絡(luò)。另一方面，從維基百科詞匯中篩選出反映獨立語義概念的核心詞，并為所有詞條標(biāo)注最能反映概念、屬性特征的相關(guān)詞解釋，建立解釋型語義詞典。進(jìn)一步探討了將維基百科關(guān)聯(lián)到中文語義詞典知