新聞垂直搜索引擎中文分詞與網(wǎng)頁去重的應(yīng)用與研究.pdf

1、自互聯(lián)網(wǎng)誕生以來,網(wǎng)絡(luò)信息每年幾乎都成指數(shù)量增長。搜索引擎是人們獲得互聯(lián)網(wǎng)信息的重要工具,但是傳統(tǒng)的搜索引擎利用網(wǎng)絡(luò)爬蟲從互聯(lián)網(wǎng)上大規(guī)模的搜集到的信息其中很多信息是完全重復(fù)或近似重復(fù)的,還有很多信息是用戶不需要的,這樣就加重了用戶使用搜索引擎的負(fù)擔(dān)。而垂直搜索引擎能夠精確的獲得用戶關(guān)心的相關(guān)領(lǐng)域信息。垂直搜索引擎不像通用搜索引擎那樣,它僅僅搜集某一特定領(lǐng)域相關(guān)的網(wǎng)頁內(nèi)容。
　　本文首先描述了垂直搜索引擎的工作原理,并討論了垂直搜索

2、引擎的幾個關(guān)鍵技術(shù),主要技術(shù)包括:網(wǎng)絡(luò)爬蟲技術(shù)、中文分詞技術(shù)、網(wǎng)頁預(yù)處理技術(shù)、網(wǎng)頁去重技術(shù)、索引和檢索技術(shù)等。對包含這幾項關(guān)鍵技術(shù)的功能模塊進(jìn)行了詳細(xì)描述并進(jìn)行具體實現(xiàn)。
　　本文設(shè)計了一個多線程網(wǎng)絡(luò)爬蟲,使其高效的爬取互聯(lián)網(wǎng)資源,并使用布隆過濾器,用來排除重復(fù)的 url;網(wǎng)頁主題內(nèi)容提取部分實現(xiàn)了基于網(wǎng)頁內(nèi)容結(jié)構(gòu)和正則表達(dá)式技術(shù)的算法,和其他網(wǎng)頁主題內(nèi)容提取技術(shù)相比,性能有所提高;網(wǎng)頁索引部分,采用Lucene技術(shù),高效的建立了