基于行為識(shí)別的網(wǎng)頁(yè)文本分類算法研究與實(shí)現(xiàn).pdf

1、近年來(lái)互聯(lián)網(wǎng)快速發(fā)展，網(wǎng)絡(luò)中出現(xiàn)了海量、動(dòng)態(tài)、半結(jié)構(gòu)化或者非結(jié)構(gòu)化的信息，這些信息80％以上都是以文本形式存在。網(wǎng)頁(yè)分類是搜索引擎、網(wǎng)頁(yè)過(guò)濾、網(wǎng)絡(luò)信息管理的技術(shù)基礎(chǔ)，因此對(duì)網(wǎng)頁(yè)分類的研究越來(lái)越重要。網(wǎng)頁(yè)分類算法是網(wǎng)頁(yè)分類過(guò)程中的一個(gè)重要步驟，分類算法的優(yōu)劣直接影響分類效果的好壞。網(wǎng)頁(yè)分類技術(shù)建立在文本分類的基礎(chǔ)上，但又不同于純文本分類技術(shù)有所差異，這是因?yàn)榫W(wǎng)頁(yè)中存在“噪音”信息以及網(wǎng)頁(yè)的半結(jié)構(gòu)化特點(diǎn)。
　　 文本分類由文本預(yù)處理

2、，特征詞庫(kù)的建立、文本分類器、文本分類結(jié)果測(cè)試這幾個(gè)部分組成。本文圍繞搜索引擎優(yōu)化對(duì)網(wǎng)站設(shè)計(jì)具有引導(dǎo)性的研究基礎(chǔ)上，對(duì)網(wǎng)頁(yè)進(jìn)行行為分析，提出了一種新的網(wǎng)頁(yè)文本分類算法——基于行為識(shí)別的網(wǎng)頁(yè)文本分類算法。本文的主要研究工作如下：
　　 在對(duì)網(wǎng)頁(yè)行為的研究中發(fā)現(xiàn)，網(wǎng)站的設(shè)計(jì)受搜索引擎優(yōu)化技術(shù)的影響，網(wǎng)站設(shè)計(jì)者為了提高網(wǎng)站的搜索排名，利用元標(biāo)簽反應(yīng)網(wǎng)站主題，因此元標(biāo)簽對(duì)反映網(wǎng)站的主題有很大的貢獻(xiàn)。并且在這種半結(jié)構(gòu)化的文本結(jié)構(gòu)中，絕大多

3、數(shù)網(wǎng)頁(yè)中都包含title，keywords，descriptioN,subtitle等，利用網(wǎng)站的這一行為特點(diǎn)提出了新的算法。
　　 基于行為識(shí)別的網(wǎng)頁(yè)文本分類算法充分考慮到網(wǎng)站中語(yǔ)言多元化的特點(diǎn)，將網(wǎng)頁(yè)的文字編碼進(jìn)行統(tǒng)一，最大可能的消除了語(yǔ)言之間的區(qū)別帶來(lái)的干擾。
　　 本文同時(shí)完成了對(duì)該算法的測(cè)試，并同國(guó)外的類似產(chǎn)品進(jìn)行比較。該算法正確率、召回率等都能達(dá)到90％，體現(xiàn)了良好的分類性能。
　　 論文最終給出了基