基于云計算的垂直搜索引擎的研究與實現(xiàn).pdf

1、垂直搜索引擎作為搜索引擎的一個分支，只面向某一特定主題進行搜索，可以獲得更好的用戶體驗，近年來獲得了越來越多的關(guān)注。但是現(xiàn)有的垂直搜索引擎在結(jié)果排序算法中并沒有考慮到web頁面中鏈接自身屬性的特點，難以獲得滿意的搜索結(jié)果，而且目前的主題類垂直搜索系統(tǒng)基本基于網(wǎng)站自身數(shù)據(jù)，不夠全面，需要用戶依次的尋找最有價值的信息。
　　針對垂直搜索引擎的不足，本文從兩方面改進結(jié)果排序算法——PageRank算法，設(shè)計一個面向租房主題的垂直搜索系統(tǒng)

2、，整合全網(wǎng)租房網(wǎng)站的信息，將更全面的租房信息返回給用戶，主要研究工作和成果如下：
　?。?）利用垂直搜索web鏈接結(jié)構(gòu)的特點，提出一種相似行消除的改進PageRank算法。證明了頁面的鏈接分布之間的相似性廣泛存在于垂直搜索系統(tǒng)的web鏈接結(jié)構(gòu)中，類似的鏈接內(nèi)分布導(dǎo)致了PageRank計算中轉(zhuǎn)換矩陣的相似行?；谶@種特點，提出一種有效的消除策略，利用這種相似性降低計算矩陣的密度，數(shù)值實驗證明了這種消除策略對降低PageRank矩陣密

3、度的有效性，并進一步減少了計算成本。
　　（2）針對搜索結(jié)果中垃圾鏈接較多，用戶體驗不好的問題，提出了一個基于鏈接屬性的改進算法。按照網(wǎng)頁中鏈接顏色粗細的不同，分為三種，同時按位置的不同，將鏈接劃分為六部分，每一種鏈接，位置的每一部分對下游網(wǎng)頁貢獻的權(quán)重是不同的，在多次迭代后，擁有權(quán)重大的網(wǎng)頁會逐漸積累起比較高的PageRank值，這樣越重要的網(wǎng)頁越顯示在前面，能夠提高系統(tǒng)的查準率，優(yōu)化搜索結(jié)果。
　?。?）基于提出的改進算

4、法，設(shè)計并實現(xiàn)了一個垂直搜索系統(tǒng)，給出了系統(tǒng)整體的架構(gòu)圖，輔以流程圖和核心代碼詳細說明了系統(tǒng)各個模塊的具體分析及實現(xiàn)方法。使用Google App Engine云計算平臺，線下計算大數(shù)據(jù)量的信息，使用其提供的一套相關(guān)產(chǎn)品實現(xiàn)了系統(tǒng)各個模塊的開發(fā)與實現(xiàn)。
　　最后，將該垂直搜索系統(tǒng)應(yīng)用到租房主題中，對系統(tǒng)在不同條件下的搜索結(jié)果數(shù)據(jù)進行研究與對比，表明系統(tǒng)能夠獲得較高的準確率和較低的響應(yīng)時間，同時對于研究面向單一主題的垂直搜索系統(tǒng)具有