基于維基百科構(gòu)建語義知識庫及其在文本分類領(lǐng)域的應(yīng)用研究.pdf

1、隨著計算機技術(shù)的不斷發(fā)展和互聯(lián)網(wǎng)的迅速普及，越來越多的人們開始使用互聯(lián)網(wǎng)進行信息獲取。在如今信息發(fā)達的時代，如何從海量的文本信息中獲取其豐富的語義知識、如何利用這些語義知識為現(xiàn)有的自然語言處理提供可靠的服務(wù)，成為了一個非常重要的研究課題。
　　 研究發(fā)現(xiàn)目前語義知識的來源大致可以分為兩類：一類是人工構(gòu)造的語義知識庫(如Hownet)；另一類是大規(guī)模的真實文本，包括互聯(lián)網(wǎng)上的海量文本、各種離線文本集合(如各種規(guī)模的語料庫)，各種百

2、科知識庫(如維基百科等)。研究表明：人工構(gòu)造的語義知識庫已經(jīng)很難滿足日益增長的網(wǎng)絡(luò)信息處理的需求。因此，本文提出了從一定規(guī)模的維基百科語料庫中自動構(gòu)建知識庫的方法。本文的主要工作包含以下幾個方面：
　　 ⑴本文在知識的形式化表示方面采用了以語義標簽為指代，語義指紋來刻畫語義的方法。該表示方法認為每一個概念(詞條)都是有一定的背景信息作為支撐，并且提出了以概率公式來量化語義指紋對語義標簽的貢獻度。該表示方法借鑒了人工知識庫顯式表征

3、語義知識的策略，并引入了概率信息，從而更精準的描述語義，并且可以很方便的融入到現(xiàn)有的文本計算模型中去。
　　 ⑵本文利用所提出的語義標簽、語義指紋形式化表示知識單元的方法，針對一定規(guī)模的維基百科語料庫進行了預(yù)處理、語義標簽選取、相關(guān)概念抽取、貢獻度值的確定等操作，對維基百科頁面之間的豐富鏈接關(guān)系進行挖掘，建立起了一個維基百科語義知識庫。
　　 ⑶為了證明該語義知識庫的有效性。結(jié)合之前對中文文本分類的研究，本文提出了利用該