基于領(lǐng)域本體的主題爬蟲研究及實(shí)現(xiàn).pdf

1、隨著Web上的信息猛速增長，基于關(guān)鍵詞全文匹配的傳統(tǒng)搜索引擎，已不能滿足用戶在查全率、查準(zhǔn)率方面的需求。同時隨著科技的發(fā)展，人們對于智能化、專業(yè)化的需求也一直在提高，如何讓搜索引擎更加智能化、專業(yè)化是一個挑戰(zhàn)。
　　 垂直搜索引擎正是在用戶對專業(yè)化需求的環(huán)境下產(chǎn)生的，它通過主題爬蟲對Web上特定領(lǐng)域的網(wǎng)頁進(jìn)行抓取，保存成網(wǎng)頁庫，然后被垂直搜索所使用。針對人們對于智能化的需求，人們發(fā)現(xiàn)了哲學(xué)的本體論可以被應(yīng)用于信息檢索中。本體技術(shù)

2、是語義網(wǎng)中的一種先進(jìn)的知識表示技術(shù)。本體具有良好的概念層次結(jié)構(gòu)和對邏輯推理的支持能力，概念間關(guān)系概括語義的能力，能很好地為語義檢索提供知識基礎(chǔ)的能力。所以研究將本體論技術(shù)應(yīng)用于主題爬蟲成為了當(dāng)今學(xué)術(shù)界熱點(diǎn)。
　　 本論文分析了主題爬蟲的國內(nèi)外研究現(xiàn)狀，結(jié)合了本體論技術(shù)，進(jìn)行主題爬蟲的研究與實(shí)現(xiàn)。本文的具體工作如下：
　　 (1)給出基于領(lǐng)域本體的主題爬蟲的框架及相關(guān)模塊介紹。
　　 (2)提出了根據(jù)本體層次樹進(jìn)行

3、上下文主題描述，用于指導(dǎo)主題爬蟲的爬行；
　　 (3)改進(jìn)了本體層次樹各概念的語義相似度及相關(guān)度計(jì)算方法，并給出了本體層次樹各概念的向量表示綜合方法；
　　 (4)根據(jù)本文的上下文主題描述，提出了網(wǎng)頁內(nèi)容與鏈接相關(guān)度的算法；
　　 (5)根據(jù)領(lǐng)域本體的構(gòu)建方法及Protégé本體構(gòu)建工具，構(gòu)建了教育技術(shù)領(lǐng)域的本體；
　　 (6)基于開源Bot.jar進(jìn)行了擴(kuò)展、實(shí)現(xiàn)基于領(lǐng)域本體的教育技術(shù)領(lǐng)域主題爬蟲。