維基百科上的語義搜索.pdf

1、維基百科，作為最著名的Web 2.0 應用之一，在大批志愿者的協(xié)作編輯下，逐漸成為世界上最大的免費在線百科全書。維基百科中的內(nèi)容和文章組織方式使其成為一個方便的在線知識門戶網(wǎng)站，這也是使其取得巨大成功的關鍵因素。維基百科里，幾乎每篇文章都是對一個實體的詳盡描述，含有豐富的文本信息。此外，文章中也含有豐富的結構化信息，如類別系統(tǒng)和信息盒數(shù)據(jù)。最近有越來越多的工作從維基百科中抽取出這些結構化信息并表示成語義數(shù)據(jù)。然而現(xiàn)有搜索引擎并沒有充分利

2、用維基百科中豐富的結構化和語義數(shù)據(jù)，因此極大限制了用戶對于該大規(guī)模知識庫的利用。 隨著維基百科的快速發(fā)展，其中的文本信息和語義信息也越來越多。 因而，如何更好、更快并且更智能化的訪問這些信息成為一個重要問題。 這就需要一個同時基于文本信息及語義信息的有效的搜索服務。語義搜索正是用來解決這一問題的關鍵技術。因此，本課題研究將語義搜索技術應用于維基百科，搭建維基百科上的語義搜索系統(tǒng)，從而讓用戶擁有更強大的搜索能力，得

3、以更充分的利用該大規(guī)模知識庫。 在維基百科上搭建語義搜索系統(tǒng)有三大難點：如何更充分的挖掘維基百科中的語義數(shù)據(jù)，構建大規(guī)模知識庫；如何提供盡可能強大的混合查詢能力，支持對文本信息和語義信息的混合查詢，并保證其高效性； 如何對用戶提供友好的搜索界面，使其在支持強大的混合查詢能力的同時，仍然保持易用的特點。 考慮到現(xiàn)有基于維基百科信息盒及文本抽取語義數(shù)據(jù)的方法具有較低的文章覆蓋率，本文進一步挖掘維基百科分類系統(tǒng)中所隱含

4、的知識，提出了基于維基百科父子類別對的自動抽取三元組數(shù)據(jù)的方法?；诰S基百科的大量語義數(shù)據(jù)和豐富文本信息，本文提出了一個擴展信息檢索引擎的索引結構和功能來提供高效混合查詢的新方法。首先我們定義了一種樹型混合查詢，同時具有結構化查詢和關鍵字查詢的能力。然后我們擴展信息檢索引擎中廣泛使用的倒排索引技術來支持對關系的索引，將混合查詢的處理算法分解為倒排索引上的基本操作，并實現(xiàn)考慮關系的排序機制。利用這個方法可以對海量的語義數(shù)據(jù)及文本信息進行索

5、引，并且可以高效的處理用戶的混合查詢。為設計友好的搜索界面，本文擴展了廣泛使用于結構化數(shù)據(jù)的多視角瀏覽及搜索界面，讓用戶從熟悉的關鍵字搜索入手，在返回搜索結果的同時自動對當前結果所屬的類別及所涉及的關系給出提示，引導用戶迭代該過程并完成復雜的混合查詢。 實驗表明，本文基于維基百科類別自動抽取語義數(shù)據(jù)的方法在文章覆蓋率上超越了以前的工作，同時進一步擴充了三元組數(shù)據(jù)。本文實現(xiàn)的語義搜索系統(tǒng)在保證高效和易用的前提下，大大增強了用戶在維