垂直搜索引擎關(guān)鍵技術(shù)研究.pdf

1、隨著Web上的信息愈來(lái)愈大,獲取更加準(zhǔn)確,詳細(xì),深層的專業(yè)信息,成為通用搜索引擎在信息采集方面的嚴(yán)峻挑戰(zhàn)。垂直搜索引擎的出現(xiàn),使得問(wèn)題迎刃而解。垂直搜索引擎的網(wǎng)絡(luò)機(jī)器人在爬行時(shí)要不斷地計(jì)算當(dāng)前網(wǎng)頁(yè)的主題相關(guān)度數(shù)值,并根據(jù)數(shù)值評(píng)價(jià)網(wǎng)頁(yè)的主題相關(guān)度,因此,它可以有效地避開(kāi)大量無(wú)關(guān)主題區(qū)域,只檢索出Web中與特定主題領(lǐng)域內(nèi)的相關(guān)網(wǎng)頁(yè)信息。所以,垂直搜索引擎的準(zhǔn)確率、召回率和效率都遠(yuǎn)勝于通用搜索引擎。同時(shí),因?yàn)榫W(wǎng)頁(yè)數(shù)目的劇減,垂直搜索引擎系統(tǒng)維

2、護(hù)的代價(jià)也遠(yuǎn)遠(yuǎn)低于通用搜索引擎。
　　 本文首先論述了垂直搜索引擎的研究意義,然后基于全文檢索Lucene框架介紹了搜索引擎的三大核心技術(shù):索引,搜索和中文分詞技術(shù)。通過(guò)與通用的搜索引擎進(jìn)行比較,深入研究了垂直搜索引擎關(guān)鍵技術(shù)。本文的主要研究?jī)?nèi)容包括以下幾點(diǎn):
　　 (1)指出了搜索策略中的HITS算法容易產(chǎn)生漂移和隧道現(xiàn)象的不足,并對(duì)其算法做了改進(jìn),使得一定程度上避免了主題漂移問(wèn)題,引入超鏈接的預(yù)測(cè)權(quán)值參數(shù),使得對(duì)隧道

3、鏈接的判別具有了更高的準(zhǔn)確性。
　　 (2)應(yīng)用在主題相關(guān)度判別中的向量空間模型算法,此算法在應(yīng)用前,假設(shè)文檔中的詞條相互獨(dú)立的,與實(shí)際不符,從而造成不能很準(zhǔn)確地判斷其主題相關(guān)度的缺點(diǎn),本文對(duì)此算法進(jìn)行了改進(jìn),即將文檔中各個(gè)層次中的詞條重要性賦予不同的權(quán)值,然后將此因素也加入到主題相關(guān)性判別算法中,從而使得其算法更加準(zhǔn)確。
　　 (3)同時(shí)提出了一種新的網(wǎng)頁(yè)消重策略,經(jīng)過(guò)大量實(shí)驗(yàn)表明取得了較好的效果。應(yīng)用Java+Luc