大規(guī)模鏈接開放模式的構(gòu)建及其在軟件工程中的應(yīng)用.pdf

1、近年來，隨著語義技術(shù)的發(fā)展，越來越多的鏈接開放數(shù)據(jù)（Linked Open Data，LOD）被發(fā)布到互聯(lián)網(wǎng)上?；ヂ?lián)網(wǎng)正從原來的網(wǎng)頁之間的“文檔互聯(lián)網(wǎng)”轉(zhuǎn)向結(jié)構(gòu)知識互聯(lián)的“數(shù)據(jù)萬維網(wǎng)”。然而，盡管目前公開的LOD數(shù)據(jù)集中有數(shù)以億記的三元組和實體，但其中的層次化知識和模式層的公理卻非常有限。
　　為了填補輕量級的LOD數(shù)據(jù)和重量級本體表達之間的鴻溝，本文提出了鏈接開放模式（Linked Open Schema）的概念，并將其作為LO

2、D數(shù)據(jù)的一種補充。本文以21個流行的英文社交站點中收集的類別和標簽作為數(shù)據(jù)源，使用機器學(xué)習(xí)的方法，自動挖掘類別和標簽的語義關(guān)系（如上下位關(guān)系，同義關(guān)系和相關(guān)性關(guān)系），構(gòu)建了一個大規(guī)模的英文鏈接開放模式。在此基礎(chǔ)上，本文將上下位關(guān)系挖掘的方法應(yīng)用于軟件工程領(lǐng)域，并針對Stackoverflow這一特殊的數(shù)據(jù)集，在機器學(xué)習(xí)框架內(nèi)加入了新的特征，構(gòu)建了一個軟件編程概念網(wǎng)絡(luò)。
　　本文的主要貢獻和創(chuàng)新點包括：
　　1)研究提出了異構(gòu)

3、數(shù)據(jù)源的統(tǒng)一語義表示的方法。該方法分析數(shù)據(jù)源中概念的常見構(gòu)詞方法，對其進行分詞并結(jié)構(gòu)化，提取出中心詞和修飾詞，完成對概念的結(jié)構(gòu)化表示；利用維基百科，將所有的類別和標簽統(tǒng)一映射到維基百科中的概念，同時加入概念的上下層次和共現(xiàn)信息，以此作為概念的上下文表示。
　　2)研究提出了基于統(tǒng)一表示的多種語義關(guān)系度量。針對已有的LOD數(shù)據(jù)集中的數(shù)據(jù)，分析各種語義關(guān)系的數(shù)據(jù)對之間的內(nèi)在語義和外在形式的特點，提出了基于外部知識庫的語義計算方法，分析

4、不同知識庫的優(yōu)劣，并能結(jié)合多種方法，最大限度地保證準確率和覆蓋率；特別的，還將研究基于語義轉(zhuǎn)換的語義關(guān)系度量方法，定量衡量語義關(guān)系。此外，還利用社交網(wǎng)站中概念的共現(xiàn)信息，提出基于統(tǒng)計的語義相關(guān)性度量方法。
　　3)研究提出了僅利用少量訓(xùn)練數(shù)據(jù)和全局結(jié)構(gòu)信息的語義關(guān)系發(fā)現(xiàn)的方法。本文將關(guān)系發(fā)現(xiàn)問題轉(zhuǎn)換成機器學(xué)習(xí)中的分類問題，為了解決訓(xùn)練數(shù)據(jù)的不足，本文采用了一種迭代的半監(jiān)督的學(xué)習(xí)框架，并利用規(guī)則和全局結(jié)構(gòu)信息，進行誤分類和冗余的過濾

5、，保證了迭代過程中發(fā)現(xiàn)的關(guān)系的質(zhì)量。
　　作為上述研究的成果，本文構(gòu)建和發(fā)布了兩個大規(guī)模鏈接開放模式：Zhishi.schema，這是第一個公開的中英文鏈接開放模式數(shù)據(jù)集，包含了25,474個同義關(guān)系，1,047,801個上下位關(guān)系和1,327,631個相關(guān)關(guān)系；Software.zhishi.schema，一個大規(guī)模軟件編程概念網(wǎng)絡(luò)，包含了57,322個概念以及36,249個上下位關(guān)系和23,811個同義關(guān)系。相比于傳統(tǒng)的數(shù)據(jù)集