分布式主題網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近些年來，互聯(lián)網(wǎng)信息資源快速增長,如何能夠準(zhǔn)確高效的在海量的網(wǎng)絡(luò)資源中獲取需要的信息成為了網(wǎng)絡(luò)研究的一個(gè)熱點(diǎn)。通用搜索引擎的信息量大，覆蓋面廣，滿足了用戶基本的信息檢索需求。但隨著網(wǎng)絡(luò)資源的不斷增長，用戶的個(gè)性化、定制化、專業(yè)化的搜索需求不斷增多。主題搜索引擎正是在這樣的背景下應(yīng)運(yùn)而生。主題搜索引擎只采集與某個(gè)特定領(lǐng)域相關(guān)的網(wǎng)絡(luò)信息資源,它不僅能夠?yàn)橛脩籼峁└痈咝?、?zhǔn)確、定制化的檢索服務(wù),而且信息檢索結(jié)果的時(shí)效性更強(qiáng)，因而成為現(xiàn)代信息

2、檢索的一種發(fā)展趨勢。
　　網(wǎng)絡(luò)爬蟲是搜索引擎的重要組成部分，它負(fù)責(zé)在互聯(lián)網(wǎng)上抓取網(wǎng)頁信息。與通用搜索引擎的爬蟲相比，主題爬蟲面向特定領(lǐng)域，僅僅采集與主題相關(guān)度高的網(wǎng)頁信息，而忽略其他信息。因此，它的信息更新周期更短，可以提供1-2天內(nèi)發(fā)布的最新信息。由于互聯(lián)網(wǎng)信息量巨大，使用單機(jī)來實(shí)現(xiàn)主題爬蟲并不現(xiàn)實(shí)，分布式主題爬蟲引起了業(yè)界的廣泛關(guān)注。
　　基于開源項(xiàng)目Nutch，本文實(shí)現(xiàn)了一個(gè)分布式主題爬蟲系統(tǒng)。本文所提出的爬蟲系統(tǒng)對N

3、utc h進(jìn)行了擴(kuò)展和優(yōu)化，使得爬蟲能有選擇地搜索與主題相關(guān)的網(wǎng)頁或網(wǎng)絡(luò)資源，減少了無關(guān)頁面的訪問頻次，提升了爬蟲的性能。具體來說，本文將基于支持向量機(jī)（SVM）的文本分類系統(tǒng)應(yīng)用于主題相關(guān)度計(jì)算之中，并對該文本分類系統(tǒng)進(jìn)行優(yōu)化和改進(jìn)，使之更好地服務(wù)于主題爬蟲。其次，傳統(tǒng)的主題爬蟲系統(tǒng)各個(gè)模塊之間耦合度高，本文運(yùn)用分層思想，重新設(shè)計(jì)了主題爬蟲系統(tǒng)的架構(gòu)，使得主題爬蟲系統(tǒng)業(yè)務(wù)擴(kuò)展更加容易，并根據(jù)各個(gè)模塊的存儲特點(diǎn)合理選擇存儲策略，增強(qiáng)了系