基于向量空間模型的主題爬蟲(chóng)算法研究.pdf

1、時(shí)下，網(wǎng)絡(luò)作為主導(dǎo)信息來(lái)源手段對(duì)人們的生產(chǎn)生活方式帶來(lái)了迅速的轉(zhuǎn)變，信息檢索的便利性不言而喻。但是，傳統(tǒng)的搜索引擎無(wú)法使用戶在特定時(shí)間內(nèi)得到有效的檢索結(jié)果?；诖?，主題搜索引擎應(yīng)運(yùn)而生，終將成為搜索引擎發(fā)展趨勢(shì)之一。主題搜索引擎是在傳統(tǒng)搜索引擎的基礎(chǔ)上增加了新的搜索引擎服務(wù)模式。主題搜索引擎中的爬蟲(chóng)稱為主題爬蟲(chóng)。主題爬蟲(chóng)在傳統(tǒng)網(wǎng)絡(luò)爬蟲(chóng)的功能上添加了主題確立和相關(guān)性評(píng)價(jià)兩個(gè)模塊。主題爬蟲(chóng)注重爬行的深度，它的目標(biāo)是保證盡可能多的爬行、下載與

2、主題相關(guān)的網(wǎng)頁(yè)。它主要需要解決主題確立、相關(guān)性分析評(píng)價(jià)以及搜索算法三個(gè)核心問(wèn)題。
　　本文對(duì)主題定義與描述、相關(guān)性評(píng)價(jià)和搜索算法等網(wǎng)絡(luò)爬蟲(chóng)關(guān)鍵技術(shù)做了詳細(xì)闡述。深入研究了基于向量空間模型(Vector Space Model, VSM)的主題爬蟲(chóng)相關(guān)度計(jì)算以及搜索算法。通過(guò)對(duì)傳統(tǒng)模型主題爬蟲(chóng)算法的研究分析，提出了一種基于向量空間模型的多粒度SH主題爬蟲(chóng)算法。
　　論文主要工作如下：
　　1．傳統(tǒng)的向量空間模型用特征項(xiàng)表

3、示關(guān)鍵詞，用TF-IDF方法計(jì)算關(guān)鍵詞的權(quán)重，即通過(guò)計(jì)算關(guān)鍵詞在文本中出現(xiàn)的次數(shù)衡量相關(guān)度。通過(guò)此方法計(jì)算結(jié)果僅僅是對(duì)文本詞語(yǔ)的模糊匹配，忽略了Web頁(yè)面本身結(jié)構(gòu)特點(diǎn)，準(zhǔn)確性較差。針對(duì)傳統(tǒng)TF-IDF計(jì)算方法存在的缺陷，對(duì)頁(yè)面中的特征項(xiàng)做了詳細(xì)研究分析。首先，考慮特征項(xiàng)在相同文本的不同位置和在不同文本的位置權(quán)重加入語(yǔ)義分析，很好的區(qū)分了他們的分配權(quán)值；然后，利用改進(jìn)的 TF-IDF公式計(jì)算特征項(xiàng)權(quán)重，改進(jìn)后的計(jì)算方法彌補(bǔ)了傳統(tǒng)公式中將所

4、有位置一視同仁的弊端；最后，將上述公式計(jì)算的權(quán)重結(jié)果代入向量空間模型中對(duì)文本相似度分析計(jì)算。與傳統(tǒng)模型下的算法相比，改進(jìn)后的算法更能準(zhǔn)確的獲取主題相關(guān)頁(yè)面。
　　2．分析Shark-search(鯊魚(yú)算法)和HITS(Hyperlink-Induced Topic Search)算法中的優(yōu)點(diǎn)與不足。針對(duì)Shark-search算法中的噪音鏈接、廣告鏈接的缺陷和HITS算法中的主題漂移現(xiàn)象(與查詢不太相關(guān)的普通頁(yè)面在查詢排序中比較靠

5、前的現(xiàn)象稱為主題漂移)，深入分析Web頁(yè)面結(jié)構(gòu)。首先，對(duì)給定Web頁(yè)面進(jìn)行分塊處理。處理方法采用VIPS(vision-based page segmentation)算法。VIPS算法的思想：從用戶角度觀察Web頁(yè)面，不去詳細(xì)分析Web頁(yè)面的內(nèi)部具體結(jié)構(gòu)，而是把頁(yè)面中一個(gè)語(yǔ)義塊作為一個(gè)個(gè)單一對(duì)象研究；基于語(yǔ)義塊檢測(cè)出分隔條，依據(jù)分隔條Web頁(yè)面內(nèi)部結(jié)構(gòu)被重新構(gòu)建。然后，采用多粒度Shark-search算法，同時(shí)與依賴查詢的HITS算