基于Nutch的搜索引擎排序算法的研究與實(shí)現(xiàn).pdf

1、由于互聯(lián)網(wǎng)信息的急速增長(zhǎng)，面對(duì)眾多雜亂無章的網(wǎng)頁(yè)信息，如何精準(zhǔn)地找到所需信息成了人們非常關(guān)注的問題。搜索引擎的出現(xiàn)為信息查找提供了有效的工具。搜索引擎最終是服務(wù)于用戶的，因此如何更好地為用戶服務(wù)促使著搜索引擎不斷地進(jìn)行優(yōu)化。面對(duì)海量的網(wǎng)絡(luò)信息，用戶通常會(huì)選擇搜索結(jié)果靠前的網(wǎng)頁(yè)進(jìn)行瀏覽，因此搜索引擎的服務(wù)質(zhì)量很大程度上取決于網(wǎng)頁(yè)排序算法。所以目前大多數(shù)搜索引擎的優(yōu)化都是搜索引擎排序算法的優(yōu)化。
　　目前使用最廣的基于鏈接結(jié)構(gòu)的排序算

2、法是PageRank算法和HITS算法。PageRank算法由于其計(jì)算效率較高、計(jì)算的數(shù)據(jù)量更大，相較于HITS算法具有一定的優(yōu)勢(shì)，因此在實(shí)際中更為普遍使用。但是PageRank算法由于其迭代計(jì)算過程中只考慮了網(wǎng)頁(yè)的鏈接結(jié)構(gòu)，因此存在著主題偏移、偏重舊網(wǎng)頁(yè)、權(quán)值分配不合理等不足之處。論文在對(duì)PageRank算法進(jìn)行深入研究的基礎(chǔ)上，以PageRank算法的不足之處作為切入點(diǎn)，提出了一種改進(jìn)的算法WCT-PageRank算法。改進(jìn)算法通過

3、在傳統(tǒng)PageRank算法中引入了網(wǎng)頁(yè)權(quán)值分配因子、網(wǎng)頁(yè)相關(guān)性因子、網(wǎng)頁(yè)時(shí)間因子改善檢索的效果。
　　Nutch作為一個(gè)優(yōu)秀的開源項(xiàng)目，其使用的是插件機(jī)制，具有靈活的架構(gòu)。因此論文實(shí)驗(yàn)部分搭建了以Nutch開源項(xiàng)目為基礎(chǔ)的開發(fā)平臺(tái)，并對(duì)其進(jìn)行二次開發(fā)。針對(duì)其中文分詞效果不佳，加入了IKAnalyzer分詞器，并在該平臺(tái)上集成了PageRank算法和WCT-PageRank算法。對(duì)定制的基于Nutch的搜索引擎進(jìn)行檢索測(cè)試，并對(duì)實(shí)驗(yàn)