基于頁面分析的主題網(wǎng)絡(luò)爬蟲的研究.pdf

1、隨著互聯(lián)網(wǎng)上Web資源的迅猛增長，在龐大的互聯(lián)網(wǎng)上，快速準(zhǔn)確全面地找到與用戶查詢主題相關(guān)的信息變得越來越難。人們對檢索質(zhì)量和速度的要求越來越高，由于傳統(tǒng)的全網(wǎng)網(wǎng)絡(luò)爬蟲爬取的主題范圍過于廣泛，信息的及時(shí)性及與主題的相關(guān)性都無法保證，導(dǎo)致其檢索結(jié)果的時(shí)效性、準(zhǔn)確性及檢索效率都不盡人意，已滿足不了特定領(lǐng)域用戶的精確搜索的需求。為此，本文展開了對高頁面時(shí)效性、高內(nèi)容相關(guān)性的主題網(wǎng)絡(luò)爬蟲的研究。
　　 本文對目前存在的網(wǎng)絡(luò)爬蟲的種類、原理

2、及發(fā)展?fàn)顩r進(jìn)行了研究，對比分析了通用爬蟲和主題爬蟲的結(jié)構(gòu)及工作原理，展示了主題網(wǎng)絡(luò)爬蟲的各項(xiàng)優(yōu)勢。本文通過對《知網(wǎng)》的語義分析及語義相關(guān)性理論的研究和對傳統(tǒng)向量空間模型的分析，針對原有的頁面內(nèi)容與主題的相關(guān)性判定算法存在的缺陷，提出了一種基于頁面分析的主題網(wǎng)絡(luò)爬蟲。該主題爬蟲摒棄了傳統(tǒng)主題爬蟲在關(guān)于頁面與主題相關(guān)性判定所采用的傳統(tǒng)向量空間模型算法，采用了結(jié)合《知網(wǎng)》提出的具有語義分析功能的基于Web頁面特點(diǎn)的改進(jìn)向量空間模型算法，實(shí)驗(yàn)表

3、明該模型在進(jìn)行頁面內(nèi)容與主題相關(guān)性判定過程中起到了有效作用。
　　 本文的重點(diǎn)是研究基于頁面分析的主題網(wǎng)絡(luò)爬蟲的頁面過濾算法。它采用《知網(wǎng)》語義分析技術(shù)和向量空間模型相結(jié)合的方法對傳統(tǒng)的頁面與主題相關(guān)性判定算法——向量空間模型(VSM)進(jìn)行改進(jìn)。改進(jìn)后的算法利用《知網(wǎng)》進(jìn)行詞義消歧，相關(guān)度計(jì)算以及主題文本義原集的提取，同時(shí)考慮到Web網(wǎng)頁的半結(jié)構(gòu)化特點(diǎn)，即Web網(wǎng)頁上不同位置的文本特征項(xiàng)對整個(gè)Web頁面主題內(nèi)容的表達(dá)能力是不同的