面向特殊主題的排序與檢索算法研究.pdf

1、在Internet高速發(fā)展的時代中,人們通過通用搜索引擎的幫助從浩瀚的信息海洋中尋找自己需要的信息,但通用搜索引擎因為本身涵蓋的信息過于廣泛而導致了人們往往不能迅速準確的搜索到需要的信息,針對這種情況主題搜索引擎誕生了。主題搜索引擎的專業(yè)性和抗干擾性使得檢索準確率大大提升。隨著網絡信息多樣化發(fā)展,常見的主題搜索有:科技文檔搜索、電影資料搜索、數(shù)碼時尚搜索、書籍期刊搜索、新聞搜索等。但沒有一種主題搜索引擎技術能適用于所有的主題領域,有些主

2、題領域具有一些與上述主題領域不同的特點,例如藥物商品搜索、職位信息搜索等,這類主題領域的信息同時具有文檔結構固定、多詞同義現(xiàn)象嚴重、查詢詞在文檔中出現(xiàn)少等特點。對于這類特殊主題領域,普通檢索技術往往不能獲得良好的檢索效果。本文主要工作即針對這類特殊主題搜索引擎的排序、檢索與性能優(yōu)化算法展開深入研究,主要工作有:
　　(1)提出了一種能更好的適應特殊主題領域的SPF-PR(Specifically Focused PageRank)

3、網頁排序算法。PageRank算法是基于超鏈接分析技術的頁面排序算法,隨著網頁鏈接結構的復雜程度不斷增加,PageRank算法為了適應具體的不同應用需求還需要不斷改進和完善。本文在傳統(tǒng)PagerRank算法的基礎上提出了SPF-PR算法。SPF-PR算法采用了超鏈接錨文本與領域向量之間的相似度來控制傳統(tǒng) PageRank算法的主題漂移現(xiàn)象,比傳統(tǒng) PageRank算法具有更高的檢索性能。
　　(2)針對特殊主題領域的文檔特點設計了

4、SEB-VSM(Seed Extension Based VSM)檢索模型。目前多數(shù)搜索引擎采用的VSM(Vector Space Model)檢索模型并不適用于某些特殊領域的檢索,本文在VSM檢索模型的基礎上設計了SEB-VSM檢索模型來提高特殊主題搜索的檢索性能,解決了VSM檢索模型不適用于特殊主題領域檢索的問題。
　　(3)設計了一種基于Lingo聚類算法的SEB-VSM檢索模型優(yōu)化方案,包括特征降維與相似度優(yōu)化。基于Lin

5、go聚類的特征降維技術降低了文檔向量的維度,提高了相似度計算的執(zhí)行效率,降低噪音數(shù)據(jù)對相似度計算的影響;基于Lingo聚類算法的相似度優(yōu)化,減小相似度計算的誤差。經實驗證明基于Lingo聚類的特征降維與相似度優(yōu)化能有效的提高SEB-VSM檢索模型的性能。
　　最后應用上述改進與優(yōu)化算法,設計了一個面向特殊主題的搜索引擎系統(tǒng),采集了大量網絡數(shù)據(jù)進行測試,實驗證明上述改進能在本文研究的特殊主題領域中有效的提高檢索性能,在實際應用中具有