基于維基百科的語義Web搜索技術(shù)研究.pdf

1、目前的Web搜索技術(shù)是基于關(guān)鍵詞的搜索，信息的查全率和精確度仍然不能滿足用戶的需求，其效果常常不能使人滿意。這是由于在Web搜索過程中，缺乏搜索引擎可讀的語義信息，因而限制了計(jì)算機(jī)自動分析處理以及進(jìn)一步的智能化處理的能力。因此，為了提高搜索引擎檢索信息的精準(zhǔn)度和智能性，傳統(tǒng)的基于關(guān)鍵字的搜索引擎要向更智能的語義檢索方向發(fā)展。語義搜索要有一個(gè)概念的語義空間網(wǎng)絡(luò)作為支撐，維基百科（Wikipedia）是一個(gè)開放式的在線百科全書，它是世界最大

2、的包含了大量人類知識和語義關(guān)系的知識庫資源。如何充分利用維基百科的知識，為現(xiàn)有的搜索技術(shù)添加語義處理能力，優(yōu)化信息檢索過程，即成為本論文的研究課題。本文主要的工作如下：
　　首先，針對維基百科中的信息組織及結(jié)構(gòu)特點(diǎn)，抽取出語義信息。對維基百科數(shù)據(jù)的處理，我們應(yīng)用了大數(shù)據(jù)處理的技術(shù)，構(gòu)建了基于Hadoop的維基數(shù)據(jù)包處理云平臺。通過建立一套基于對象模型的應(yīng)用程序接口，得到了維基百科主題頁面中我們感興趣的語義信息，包括概念、類別、鏈接

3、、摘要段（主題頁面的第一段），這為后續(xù)的語義相關(guān)度計(jì)算提供了必要的結(jié)構(gòu)性和內(nèi)涵性信息。本文的處理技術(shù)還能為以后的維基百科大數(shù)據(jù)處理提供借鑒。
　　其次，提出了一種計(jì)算詞條語義相關(guān)度的新方法，稱為WLA算法（Wikipedia Link and Abstract）。在上述對維基百科抽取出相關(guān)信息的基礎(chǔ)上，我們重點(diǎn)研究了鏈接關(guān)系和摘要段的內(nèi)容。鏈接關(guān)系（包括入鏈和出鏈）與摘要段公共詞的特征能很好地反映出概念之間的聯(lián)系，通過對其分別賦以

4、不同的權(quán)重，實(shí)驗(yàn)結(jié)果顯示W(wǎng)LA的Spearman相關(guān)系數(shù)達(dá)到了0.68，取得了令人滿意的結(jié)果。
　　最后，開發(fā)了語義搜索系統(tǒng)的原型。將我們提出的WLA算法集成到系統(tǒng)中，實(shí)現(xiàn)了能夠提供普通用戶和語義研究人員進(jìn)行語義搜索的平臺。該搜索系統(tǒng)以維基百科對詞語的解釋為背景知識，包括語義計(jì)算，語義概念查詢和文本注釋三大功能。語義計(jì)算功能可計(jì)算出詞條語義相關(guān)性；語義概念查詢系統(tǒng)提供基于維基百科的語義詞典功能，對偏生詞，多義詞，歧義詞進(jìn)行語義解釋