基于文本內(nèi)容的網(wǎng)頁(yè)過(guò)濾技術(shù)研究.pdf

1、互聯(lián)網(wǎng)的高速發(fā)展已經(jīng)使其成為世界上覆蓋面最廣、范圍最大、內(nèi)容最為豐富的資源庫(kù)。人們?cè)诔浞窒硎苄畔⒐蚕硭鶐?lái)的便利的同時(shí)，卻也飽受著大量“垃圾信息”的困擾。特別是對(duì)于廣大青少年學(xué)生，一些“有害信息”正在威脅著他們的身心健康，另外，企業(yè)員工的上網(wǎng)行為亟待規(guī)范。因此網(wǎng)頁(yè)過(guò)濾應(yīng)運(yùn)而生。 當(dāng)前，許多商用網(wǎng)頁(yè)過(guò)濾產(chǎn)品都使用了一種稱為基于文本內(nèi)容的網(wǎng)頁(yè)過(guò)濾技術(shù)。它是從分析網(wǎng)頁(yè)內(nèi)容入手，獲取網(wǎng)頁(yè)有效文本信息，利用文本分類算法，在訓(xùn)練集合上學(xué)習(xí)網(wǎng)

2、頁(yè)分類器。在人們?cè)L問(wèn)互聯(lián)網(wǎng)時(shí)，通過(guò)預(yù)先或?qū)崟r(shí)計(jì)算出的網(wǎng)頁(yè)類別，做出允許或禁止的判斷。由此可見(jiàn)，基于文本內(nèi)容的網(wǎng)頁(yè)過(guò)濾其核心在于網(wǎng)頁(yè)分類的準(zhǔn)確性。 本文研究了基于文本內(nèi)容的網(wǎng)頁(yè)過(guò)濾技術(shù)，網(wǎng)頁(yè)過(guò)濾的成效依賴于網(wǎng)頁(yè)分類的精度，網(wǎng)頁(yè)分類分為兩個(gè)步驟，第一步是，分析網(wǎng)頁(yè)內(nèi)容，得到網(wǎng)頁(yè)中的能夠代表網(wǎng)頁(yè)語(yǔ)義的文本信息，這個(gè)過(guò)程稱為網(wǎng)頁(yè)文本內(nèi)容抽取。這類技術(shù)包括利用網(wǎng)頁(yè)文檔結(jié)構(gòu)的方法、通過(guò)計(jì)算網(wǎng)頁(yè)摘要的方法以及基于鏈接的算法等。但是這些算法都有

3、一些不可避免的弱點(diǎn)，從而會(huì)影響到后續(xù)分類的準(zhǔn)確度。本文提出了一種在同一網(wǎng)站中尋找相似網(wǎng)頁(yè)的算法，它可以克服其他網(wǎng)頁(yè)內(nèi)容抽取方法中存在的弱點(diǎn)。第二步是，從網(wǎng)頁(yè)中抽取出有用的文本之后，接著要對(duì)此文本分類，本文分析了一些成熟的文本分類技術(shù)，它們包括貝葉斯算法、支持向量機(jī)、KNN算法和決策樹等等。貝葉斯分類的出錯(cuò)率最小，就試驗(yàn)結(jié)果來(lái)看，樸素貝葉斯在大型的數(shù)據(jù)集上表現(xiàn)出來(lái)難得的速度和準(zhǔn)確度。 本文在實(shí)驗(yàn)中選擇了貝葉斯算法作為網(wǎng)頁(yè)分類器的文