中文農(nóng)業(yè)網(wǎng)頁去重及相似度判斷研究.pdf

1、隨著網(wǎng)絡(luò)信息技術(shù)的飛速發(fā)展，農(nóng)業(yè)信息化的建設(shè)、服務(wù)水平得到了極大的促進(jìn)與提高。互聯(lián)網(wǎng)中海量、重復(fù)的農(nóng)業(yè)信息為從事農(nóng)業(yè)領(lǐng)域的朋友們帶來方便的同時，也增加了快速、準(zhǔn)確獲取有效信息的難度。如何對農(nóng)業(yè)網(wǎng)頁中重復(fù)以及近似重復(fù)的網(wǎng)頁進(jìn)行有效的管理，成為農(nóng)業(yè)垂直搜索引擎領(lǐng)域研究的重要課題之一。本文的工作主要包括以下幾個方面:
　　1)深入研究了文本去重及相似度判斷的關(guān)鍵技術(shù)，網(wǎng)頁預(yù)處理、網(wǎng)頁正文內(nèi)容提取、中文分詞、特征加權(quán)算法、網(wǎng)頁去重方法、文

2、本相似度計算方法以及相似度評價標(biāo)準(zhǔn)技術(shù)，以農(nóng)業(yè)網(wǎng)頁語料庫為基礎(chǔ)，重點(diǎn)研究了網(wǎng)頁去重技術(shù)、特征加權(quán)算法以及相似度計算的方法。
　　2)對中文農(nóng)業(yè)網(wǎng)頁中重復(fù)及近似重復(fù)的網(wǎng)頁的定義標(biāo)準(zhǔn)進(jìn)行研究，構(gòu)建出中文農(nóng)業(yè)網(wǎng)頁語料庫。建立一個由人工鑒別出的網(wǎng)頁集合，包含225組網(wǎng)頁集，每組網(wǎng)頁集中有2至14張近似重復(fù)網(wǎng)頁，共1110篇網(wǎng)頁作為網(wǎng)頁測試集。
　　3)首先對網(wǎng)頁進(jìn)行預(yù)處理，使用MD5方法去除網(wǎng)頁集合中完全相同的網(wǎng)頁，再對其余網(wǎng)頁提取

3、出正文內(nèi)容，利用庖丁解牛分詞方法進(jìn)行分詞、去除停用詞后，分別使用布爾權(quán)重、詞頻權(quán)重、詞頻倒文檔權(quán)重三種方法對特征詞進(jìn)行加權(quán)計算;最后分別使用三種相似度算法（向量空間模型、基于《知網(wǎng)》的語義相似度、潛在語義分析）對三種不同權(quán)重的特征向量空間模型進(jìn)行了相似度計算，最終得到9組中文農(nóng)業(yè)網(wǎng)頁相似度判斷結(jié)果。
　　4)分析比較了9組實(shí)驗的準(zhǔn)確率、召回率、F1測度。結(jié)果表明，沒有哪種特征加權(quán)算法對相似度判斷有絕對的優(yōu)勢，三種特征加權(quán)算法在不同