基于Nutch的中醫(yī)腦病垂直搜索引擎的設(shè)計與實現(xiàn).pdf

1、隨著Web信息量的飛速增長,越來越多的用戶希望能夠快速且有效地找到自己所需要的與特定領(lǐng)域主題有關(guān)的信息,目前通用搜索引擎已經(jīng)不能滿足用戶的各方面需求。鑒于垂直搜索引擎具有專業(yè)化、目標(biāo)化、效率高等特點,目前已成為當(dāng)今研究的熱點。另外,由于Nutch開源搜索引擎,具有高透明度、排序結(jié)果公平、程序設(shè)置靈活、運行穩(wěn)定等優(yōu)點,因此選擇Nutch平臺作為研究的基礎(chǔ)。
　　本課題研究了基于Nutch的垂直搜索引擎,并應(yīng)用到中醫(yī)腦病領(lǐng)域。之所以選

2、擇中醫(yī)腦病作為研究主題,是由于目前國內(nèi)醫(yī)學(xué)搜索引擎才開始起步,通用搜索引擎檢索專業(yè)信息效率較低,檢索結(jié)果存在大量冗余,而中醫(yī)腦病學(xué)是一門相對獨立的學(xué)科,其對信息的獲取要求之高、數(shù)據(jù)量之大,通用搜索引擎已無法滿足該學(xué)科需求。在此背景下,本課題設(shè)計并實現(xiàn)一個中醫(yī)腦病主題搜索引擎。
　　本課題的研究工作主要有四個方面內(nèi)容:構(gòu)建專題資源庫,對專題資源進行分析和研究,提取中醫(yī)腦病關(guān)鍵詞,用元搜索策略進行專題資源鏈接獲取;主題爬蟲研究,對主題

3、爬蟲的搜索策略和常用的算法進行分析,綜合幾種算法的優(yōu)缺點,為提高項目的信息抓取效率,本文采用了Shark-Search與Hits結(jié)合的算法思想;索引庫建立,包含網(wǎng)頁結(jié)構(gòu)化信息提取技術(shù)、中文分詞、及倒排索引技術(shù)研究與分析;搜索結(jié)果排序算法優(yōu)化,對Lucene中的排序算法和詞語相似度計算進行分析研究,針對算法的不足,將詞語相似度思想融入到Lucene中的排序算法中,提出改進方案。同時,本文中對Nutch搜索功能進行分析,并加入中文分詞插件,

4、并對以下3方面的檢索輔助功能進行優(yōu)化:檢索頁面?zhèn)€性化設(shè)置、檢索詞高亮顯示、檢索結(jié)果頁面翻頁功能。
　　最后實現(xiàn)了基于Nutch的垂直搜索引擎系統(tǒng),部署在Tomcat服務(wù)器上,并以中醫(yī)腦病為搜索主題,對系統(tǒng)實驗結(jié)果進行分析。實驗表明本文提出的中醫(yī)腦病垂直搜索引擎的設(shè)計和實現(xiàn)方案是切實可行的,同時也驗證了本文提出的改進算法的有效性,系統(tǒng)取得了較好的精度。本系統(tǒng)的開發(fā)有助于提高用戶檢索腦病相關(guān)文獻資料時的檢索效率,對于提升我國腦病醫(yī)療領(lǐng)