基于Nutch的醫(yī)學(xué)領(lǐng)域垂直搜索引擎系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著近幾年互聯(lián)網(wǎng)的快速發(fā)展，人們獲取信息的方式越來越多，各種各樣的信息充斥在人們的生活中，給人們帶來了極大的便利，隨之而來的還有面對(duì)豐富信息的無所適從。搜索引擎的出現(xiàn)極大地緩解了這一現(xiàn)狀，然而，隨著互聯(lián)網(wǎng)上網(wǎng)頁數(shù)目呈現(xiàn)指數(shù)級(jí)速度增長(zhǎng)，通用搜索引擎在提高搜索效率方面愈發(fā)艱難，而垂直搜索引擎憑借其高度的信息集中度和較強(qiáng)的專業(yè)領(lǐng)域知識(shí)，成為時(shí)下研究的熱點(diǎn)。因此，各領(lǐng)域內(nèi)垂直搜索引擎平臺(tái)相繼出現(xiàn)，但在與人們生活健康息息相關(guān)的醫(yī)療衛(wèi)生領(lǐng)域卻依然沒

2、有一個(gè)較好的搜索平臺(tái)，人們對(duì)于各種疾病的預(yù)防和治療信息大多只能通過醫(yī)生了解，信息渠道單一，而且由于地理環(huán)境、經(jīng)濟(jì)發(fā)展等因素限制，優(yōu)勢(shì)醫(yī)療資源發(fā)展不均衡。若能實(shí)現(xiàn)一個(gè)醫(yī)療領(lǐng)域的垂直搜索引擎，人們足不出戶就可獲取醫(yī)療信息，這將有利于緩解我國(guó)目前醫(yī)療意識(shí)和基礎(chǔ)設(shè)施薄弱的問題。
　　本文基于Nutch開源搜索框架，針對(duì)垂直搜索引擎中的主題爬蟲模塊和信息檢索模塊進(jìn)行分析和設(shè)計(jì)，并最終實(shí)現(xiàn)醫(yī)學(xué)領(lǐng)域的垂直搜索引擎。在該垂直搜索引擎的搭建中，主題

3、爬蟲模塊的構(gòu)建一直是當(dāng)下研究的熱點(diǎn)，本文通過對(duì)主題爬蟲爬行策略中的Fish-Search算法進(jìn)行分析試驗(yàn)，依據(jù)網(wǎng)頁鏈接和網(wǎng)頁內(nèi)容對(duì)網(wǎng)頁進(jìn)行綜合相關(guān)度評(píng)價(jià)，采用彈性閾值機(jī)制，在限制“隧道現(xiàn)象”的基礎(chǔ)上對(duì)醫(yī)學(xué)領(lǐng)域相關(guān)的網(wǎng)頁進(jìn)行爬取、下載。在抓取該醫(yī)學(xué)領(lǐng)域的網(wǎng)頁后，利用網(wǎng)頁解析工具和網(wǎng)頁分塊技術(shù)對(duì)網(wǎng)頁進(jìn)行解析，并將解析后的網(wǎng)頁文本內(nèi)容進(jìn)行中文分詞，構(gòu)建倒排索引結(jié)構(gòu)的倒排表。針對(duì)信息檢索中網(wǎng)頁的排序問題，本文通過對(duì)Lucene搜索結(jié)果評(píng)分機(jī)制的

4、分析與研究，對(duì)PageRank算法在權(quán)值傳遞過程中的平均分配問題加以優(yōu)化，并添加時(shí)間反饋因子，減少舊網(wǎng)頁的天然優(yōu)越性，并將優(yōu)化后的PageRank算法與Lucene中的向量空間模型結(jié)合，在抑制“主題漂移”現(xiàn)象的基礎(chǔ)上提高網(wǎng)頁的主題相關(guān)性和權(quán)威性，最后將經(jīng)過排序處理后的結(jié)果網(wǎng)頁返回給用戶，實(shí)現(xiàn)醫(yī)學(xué)領(lǐng)域垂直搜索引擎的整個(gè)流程。
　　通過對(duì)垂直搜索引擎系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，用戶可以以快捷高效的方式獲得較為權(quán)威的醫(yī)學(xué)領(lǐng)域信息，對(duì)個(gè)人的健康與衛(wèi)