基于個性化服務的汽車信息搜索引擎的研究.pdf

1、Web2.0的迅速普及帶給人們豐富信息的同時，也使人們對信息的把握能力大大下降，龐大的信息量已經(jīng)超出了人們預期的設想。傳統(tǒng)的信息檢索系統(tǒng)已經(jīng)不能滿足用戶需求，通用搜索引擎的出現(xiàn)滿足了一般用戶的基本需求，但它在特定領域的主題搜索和用戶個性化搜索服務方面仍有不足。本文提出的基于個性化服務的汽車主題搜索引擎系統(tǒng)正是為了彌補這些方面的不足。
　　 本文首先介紹了搜索引擎的研究背景和工作原理，接著深入分析Heritrix網(wǎng)絡爬蟲的體系架構(gòu)

2、，擴展Heritrix的相關組件以定制汽車主題網(wǎng)絡爬蟲，并引入URL散列算法ELFHash算法改變Heritrix網(wǎng)絡爬蟲原有的Key分配策略，使得爬蟲可以多線程抓取同一域名下的網(wǎng)頁，實現(xiàn)了汽車主題爬蟲的多線程，高效抓取網(wǎng)頁的目的。
　　 本文采用Lucene全文檢索框架作為系統(tǒng)的搜索框架，介紹了全文檢索的基本原理和Lucene的相關技術：索引技術、排序技術等，并在此基礎上指出Lucene原有結(jié)果排序方法的不足，它僅僅是以網(wǎng)頁內(nèi)

3、容的相關度作為網(wǎng)頁排序的依據(jù)，不能客觀的反映網(wǎng)頁的重要性，為此在Lucene原有的排序算法的基礎上引入谷歌的PageRank算法，將二者結(jié)合起來，改進了原有排序算法。
　　 在上述理論研究工作的基礎上，本文設計并實現(xiàn)了一個基于個性化服務的汽車主題搜索引擎系統(tǒng)，從用戶的購車需求入手，將系統(tǒng)分為汽車主題爬蟲模塊、汽車網(wǎng)頁信息抽取模塊、索引模塊和用戶查詢模塊四個模塊，并詳細的介紹四個模塊的技術原理和實現(xiàn)方法。
　　 最后，本文