網(wǎng)絡(luò)知識(shí)資源深層表示學(xué)習(xí)模型研究.pdf

1、隨著電子計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)知識(shí)資源呈爆炸式增長(zhǎng)，網(wǎng)絡(luò)資源內(nèi)容多樣，人們往往不能有效的獲取、利用所需的網(wǎng)絡(luò)知識(shí)資源。為了更好的利用網(wǎng)絡(luò)知識(shí)資源，需要應(yīng)用更加自動(dòng)化、智能化的數(shù)據(jù)挖掘、信息提取方法。Web文檔作為網(wǎng)絡(luò)知識(shí)資源的一種載體，有著自然語(yǔ)言非結(jié)構(gòu)化的特點(diǎn)，所以在運(yùn)用聚類(lèi)、分類(lèi)等挖掘技術(shù)進(jìn)行文本挖掘之前，需要將Web文檔轉(zhuǎn)化為機(jī)器學(xué)習(xí)算法可以理解的格式，即將文本數(shù)據(jù)轉(zhuǎn)換成數(shù)值數(shù)據(jù)。本文主要對(duì)網(wǎng)絡(luò)知識(shí)資源的表示及其相關(guān)的

2、命名實(shí)體識(shí)別展開(kāi)了深入的研究,首先對(duì)網(wǎng)絡(luò)知識(shí)資源的表示和領(lǐng)域命名實(shí)體識(shí)別的基本概念和理論進(jìn)行了歸納,分析了目前最為流行的向量空間模型與深度學(xué)習(xí)架構(gòu)的詞向量。在此基礎(chǔ)上,提出了一種基于命名實(shí)體和詞向量相結(jié)合的網(wǎng)絡(luò)知識(shí)資源深層表示方法，并在算法知識(shí)領(lǐng)域內(nèi)進(jìn)行實(shí)驗(yàn)檢驗(yàn)。論文主要在以下幾個(gè)方面展開(kāi)了研究和探索:
　　首先，在調(diào)研了常見(jiàn)文本表示方法的基礎(chǔ)上，指出了最流行的文本表示方法向量空間模型的局限性，進(jìn)而利用命名實(shí)體和詞向量對(duì)文本深層語(yǔ)

3、法、語(yǔ)義挖掘的特點(diǎn)，提出了一種基于命名實(shí)體和詞向量相結(jié)合的網(wǎng)絡(luò)知識(shí)資源深層表示學(xué)習(xí)模型。
　　其次，作為本文所提出模型框架的第一部分，針對(duì)算法知識(shí)領(lǐng)域，展開(kāi)命名實(shí)體識(shí)別研究與實(shí)驗(yàn)。進(jìn)行了Web文檔爬取、預(yù)處理和標(biāo)記語(yǔ)料等工作，完成了算法知識(shí)語(yǔ)料庫(kù)的建設(shè)，并以條件隨機(jī)場(chǎng)為主要算法，融合規(guī)則、詞典和統(tǒng)計(jì)方法于一體構(gòu)建模型，針對(duì)算法知識(shí)和網(wǎng)絡(luò)解題報(bào)告的特點(diǎn)，選取相關(guān)特征，生成特征模板，利用開(kāi)源工具CRF++在算法知識(shí)語(yǔ)料庫(kù)上完成了訓(xùn)練過(guò)