基于Nutch的可信搜索引擎研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)不斷發(fā)展以及個人計算機的廣泛普及，如何準確、快速、方便地從龐大的信息庫中檢索自己所需要的信息，是普通用戶面臨的一個重要問題。搜索引擎隨之成為人們廣泛使用的信息檢索的工具。搜索引擎涉及到分布式處理、信息檢索、人工智能、數(shù)據(jù)挖掘、自然語言處理等多個領(lǐng)域的技術(shù)，具有很強綜合性和挑戰(zhàn)性。由于近年來博客、微博、微信等自媒體迅速發(fā)展，普通用戶發(fā)布信息的門檻越來越低，大量重復(fù)、過時、虛假的信息充斥在互聯(lián)網(wǎng)中，然而傳統(tǒng)的搜索引擎并不能很好

2、地區(qū)分這些信息的優(yōu)劣。隨著信息量的增長，搜索引擎的搜索結(jié)果的可信度卻越來越差。針對這些新出現(xiàn)的問題，提高搜索結(jié)果的可信度已經(jīng)成為未來搜索引擎重要的發(fā)展方向。
　　本文以提高搜索結(jié)果的可信度為主要研究點，針對搜索引擎存在偏重歷史網(wǎng)頁、主題漂移等問題，通過改進搜索引擎的數(shù)據(jù)采集子系統(tǒng)和檢索子系統(tǒng)算法來提高搜索結(jié)果的可信度，最終完成可信搜索引擎的設(shè)計部署。本文主要工作可分為以下三方面。
　　1)可信數(shù)據(jù)采集子系統(tǒng)，在開源OPIC算

3、法的基礎(chǔ)上，提出了TS算法，該算法通過基于索引屬性的改進，在基于網(wǎng)頁的鏈接基礎(chǔ)上加入網(wǎng)頁時間、網(wǎng)頁深度、平均點擊率三個屬性，實現(xiàn)了網(wǎng)頁評分因素的多元化，有效改善了OPIC算法偏重歷史網(wǎng)頁、容易作弊等缺點。
　　2)可信檢索子系統(tǒng)，采用基于向量的空間模型相似度計算原理，重新構(gòu)建了Lucence相似度計算公式，結(jié)合TS算法對網(wǎng)頁的評分。改進檢索算法將數(shù)據(jù)采集子系統(tǒng)對網(wǎng)頁的評分值在最終的搜索結(jié)果中得到體現(xiàn)，完成可信檢索子系統(tǒng)的設(shè)計。