基于分布式架構的元搜索引擎系統(tǒng)的設計與實現(xiàn).pdf

1、隨著互聯(lián)網技術的快速發(fā)展和計算機技術的廣泛應用，人類已經步入了信息爆炸的時代。在互聯(lián)網上涌現(xiàn)的大量信息以及信息結構的多樣化，使得人們很難在沒有其它工具幫助的情況下快速搜尋到自己想要的信息。中國互聯(lián)網信息中心CNNIC于2012年公布的互聯(lián)網用戶白皮書中明確提出，隨著互聯(lián)網的快速發(fā)展，互聯(lián)網上的數(shù)據(jù)繼續(xù)保持著爆炸式的增長模式，每年的增長率已經超過10倍。用戶在互聯(lián)網上獲取信息的渠道雖然呈現(xiàn)多元化發(fā)展的趨勢，但門戶網站、搜索引擎、博客、微博

2、、論壇、社交網站等仍是用戶獲取信息的主要渠道。
　　 元搜索引擎是信息檢索中Web檢索技術不斷發(fā)展的產物，由于它能夠集合多個成員搜索引擎的檢索結果，并通過相應的算法優(yōu)化檢索結果的排序，所以它返回的結果能大大提高檢索結果的查全率和查準率，因此受到了互聯(lián)網用戶的廣泛歡迎。但是，隨著成員搜索引擎數(shù)量上升，返回結果較多時，檢索的效率以及文檔最后的排序問題成為了現(xiàn)在元搜索引擎發(fā)展的瓶頸。
　　 分布式系統(tǒng)的發(fā)展，旨在聯(lián)合網絡上的單

3、個主機，將一個復雜的大任務分解為多個規(guī)模小、復雜度低的子任務。通過利用網絡上大量的廉價機處理規(guī)模較小、復雜度低的子任務，可以將串行工作模式改為并行工作的模式，這樣的改進可以大大提高用戶檢索的效率。
　　 本文首先闡述了近幾年國內外元搜索引擎系統(tǒng)的發(fā)展現(xiàn)狀，在此基礎上引出了論文的主要研究內容。針對元搜索引擎系統(tǒng)在檢索結果排序融合方面的不足，本文對已有的基于位置信息排序算法進行了改進。在將文檔的位置信息轉換為文檔得分時，增加了對成員

4、搜索引擎?zhèn)€數(shù)因素的考慮，同時，對文檔的URL通過構造域名緩存表來計算文檔URL的分值;在成員搜索引擎權值方面，采用多元線性回歸中參數(shù)的最小二乘估計法計算出各成員系統(tǒng)的權值;最后根據(jù)線性組合算法模型計算出文檔總評分并作為排序依據(jù)。
　　 為滿足用戶對檢索實時性的要求，本文將分布式系統(tǒng)中的主從模式結構引入到元搜索引擎系統(tǒng)設計中。具體地，采用基于HTTP/1.1的通信協(xié)議作為各個工作模塊的傳輸協(xié)議，以各下載節(jié)點的CPU負載率作為分發(fā)模