基于增強型類PageRank算法的搜索引擎的研究與設(shè)計.pdf

1、隨著大數(shù)據(jù)時代的到來，不僅僅是整個互聯(lián)網(wǎng)的信息量暴增，許多大中型互聯(lián)網(wǎng)企業(yè)也擁有越來越多的數(shù)據(jù)。如何從成千上萬的數(shù)據(jù)海洋中準(zhǔn)確地使用戶找到需要的信息是現(xiàn)在企業(yè)面臨的一大難題。商用的搜索引擎不具有針對性，這使得企業(yè)需要開發(fā)自身的搜索引擎以便滿足用戶需求。從無到有開發(fā)和維護一個完整的搜索引擎是非常昂貴的。除了專門從事搜索引擎運營的公司（如Google、Baidu）之外，其他的互聯(lián)網(wǎng)企業(yè)想要開發(fā)具備專業(yè)性能的搜索引擎是十分困難的。開源程式庫L

2、ucene很好地解決了開發(fā)企業(yè)內(nèi)部搜索引擎的問題。然而開源的程式庫是為了適應(yīng)大多數(shù)站內(nèi)搜索系統(tǒng)，缺乏個性化，并不能滿足企業(yè)搜索系統(tǒng)的針對性。同時由于Lucene排序算法比較簡單、忽視用戶反饋、偏重舊網(wǎng)頁等缺點，不能準(zhǔn)確地滿足用戶的需求。
　　為了幫助企業(yè)應(yīng)對互聯(lián)網(wǎng)環(huán)境的新挑戰(zhàn)，開發(fā)一個能用于搜索較大數(shù)據(jù)庫的搜索系統(tǒng)，同時保證用戶能夠得到友好的界面搜索體驗和更加精確的查詢結(jié)果，本文工作如下：
　?。?）為了解決用戶反饋問題，本

3、文利用Lucene搭建搜索引擎的基本框架，類比PageRank算法采用鏈接作為網(wǎng)頁重要性的評價指標(biāo)，建立用戶查詢和網(wǎng)頁點擊率之間的聯(lián)系，提出類PageRank算法（Similar Page Rank，SPR）。再針對專用系統(tǒng)對實時性和用戶興趣度反饋的要求，在算法中添加時間函數(shù)和用戶興趣度函數(shù)，得到增強型類PageRank算法（Enhanced Similar Page Rank，ESPR）。
　　（2）在新算法的基礎(chǔ)上對整個系統(tǒng)進

4、行完整的原理分析，詳細(xì)闡述了ESPR算法嵌入到系統(tǒng)中的過程。首先重新定義了分詞之后索引結(jié)構(gòu)圖，直觀的說明了對整個索引結(jié)構(gòu)做出的調(diào)整。然后結(jié)合Lucene原有的語法分析方式完整地推導(dǎo)出搜索索引過程中ESPR算法的打分公式。
　?。?）根據(jù)對各個模塊的原理分析，通過編程實現(xiàn)了基于增強型類PageRank算法的搜索引擎。Lucene具有良好的封裝性和繼承性，可以在自定義打分模塊中實現(xiàn)對程序的修改。由算法導(dǎo)致的索引結(jié)構(gòu)變化也可以在相應(yīng)的模

5、塊中重新定義。
　?。?）將本文的搜索引擎和其它兩類搜索引擎進行查準(zhǔn)率性能比較。通過5人技術(shù)小組綜合評定三個搜索引擎單個查詢和多組查詢效果。實驗結(jié)果表明不管是單個查詢返回的結(jié)果還是多組查詢返回的結(jié)果，本文的搜索引擎均擁有更高的查準(zhǔn)率。
　　基于ESPR算法的搜索引擎成本低、準(zhǔn)確率高、針對性強，因此可用于大中型互聯(lián)網(wǎng)企業(yè)提供適合企業(yè)自身信息特點的精確搜索服務(wù)。除此之外，擁有海量數(shù)據(jù)的傳統(tǒng)企業(yè)進軍互聯(lián)網(wǎng)時也非常適合采用本文的搜索