基于分布式的智能搜索引擎.pdf

1、隨著Internet網(wǎng)上的知識(shí)呈幾何級(jí)數(shù)式的增長，搜索引擎作為一個(gè)查詢用戶所需信息的工具，其作用越來越受到人們的重視。目前，一個(gè)優(yōu)秀的搜索引擎能夠大大地提高一個(gè)網(wǎng)站的點(diǎn)擊率，搜索引擎已經(jīng)成為網(wǎng)站的門戶。簡單地講：搜索引擎通過一個(gè)稱之為“網(wǎng)絡(luò)蜘蛛”的程序，將網(wǎng)頁上的內(nèi)容按一定的方式存放在自己的數(shù)據(jù)庫里，并晝夜不停地維護(hù)、更新該數(shù)據(jù)庫，當(dāng)用戶提交查詢時(shí)，就從數(shù)據(jù)庫中找出與該關(guān)鍵字相關(guān)聯(lián)的信息，并按照一定的順序返回給用戶。與其它的技術(shù)一樣，搜

2、索引擎的發(fā)展也離不開對(duì)其理論基礎(chǔ)的研究。本文在對(duì)當(dāng)前第二代搜索引擎系統(tǒng)進(jìn)行理論分析的基礎(chǔ)上，結(jié)合最有代表性的Google公司的搜索引擎系統(tǒng)進(jìn)行了詳細(xì)的系統(tǒng)分析，并討論了其中的關(guān)鍵數(shù)據(jù)結(jié)構(gòu)和算法，在這個(gè)基礎(chǔ)上，我結(jié)合我當(dāng)前正在進(jìn)行開發(fā)的PIS個(gè)人智能搜索引擎項(xiàng)目，給出了我的基于分布式系統(tǒng)的架構(gòu)以及相關(guān)的算法，并給出了具體的實(shí)現(xiàn)。同時(shí)也考慮到第二代搜索引擎系統(tǒng)的種種不足，給出了智能搜索引擎系統(tǒng)的理論概述，并結(jié)合目前我的項(xiàng)目，進(jìn)行了個(gè)性化搜索

3、的研究，給出了兩種創(chuàng)新的個(gè)性化搜索方法。 本文具體進(jìn)行了兩個(gè)方面的論述： 1、分布式搜索引擎系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。盡管當(dāng)前的搜索引擎系統(tǒng)已經(jīng)廣泛采用了分布式的系統(tǒng)架構(gòu)，但是由于受到搜索引擎系統(tǒng)軟件的設(shè)計(jì)和算法的制約，每個(gè)公司的實(shí)現(xiàn)方式不太一樣，本文根據(jù)我當(dāng)前正在開發(fā)的PIS智能搜索引擎系統(tǒng)，提出了一個(gè)比較適合于基于主題的分布式搜索引擎的架構(gòu)，對(duì)其中的分布式頁面抓取系統(tǒng)和分布式等級(jí)計(jì)算系統(tǒng)進(jìn)行了詳細(xì)的論述，并給出了具體模塊的設(shè)

4、計(jì)與實(shí)現(xiàn)方法，同時(shí)也提出了一種新的基于頁面分類的頁面等級(jí)計(jì)算算法——TopicPageRank算法。 2、智能化搜索引擎系統(tǒng)的設(shè)計(jì)。智能化的搜索引擎系統(tǒng)已經(jīng)被提出了很多年，但是至今依然發(fā)展緩慢，本文中我結(jié)合智能搜索引擎的相關(guān)理論知識(shí)，提出了兩種基于智能化搜索系統(tǒng)的個(gè)性化搜索方法——基于Blog的個(gè)性化方法和基于Aiax的個(gè)性化方法，通過與傳統(tǒng)的個(gè)性化方法進(jìn)行融合，能夠提供出更精確的個(gè)性化搜索，針對(duì)不同的用戶，我們的個(gè)性化搜索系統(tǒng)