網(wǎng)頁信息過濾技術(shù)的分析與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，網(wǎng)絡(luò)“信息過載”與“不良信息泛濫”現(xiàn)象日益嚴(yán)重，這也成為推動信息過濾技術(shù)和信息檢索技術(shù)發(fā)展的動力。無論是信息過濾技術(shù)還是信息檢索技術(shù)，其實(shí)質(zhì)都是根據(jù)網(wǎng)頁內(nèi)容對網(wǎng)頁進(jìn)行分類。文本自動分類是大規(guī)模信息處理領(lǐng)域重要的應(yīng)用技術(shù)之一，也是信息處理領(lǐng)域的重要研究方向，文本分類技術(shù)已經(jīng)逐漸與搜索引擎、信息推送、信息過濾等信息處理技術(shù)相結(jié)合，這些技術(shù)的融合能有效地提高信息服務(wù)的質(zhì)量。 本文在網(wǎng)頁信息提取及中文文本自動分類方

2、面做了一些有益的探索，對中文文本分類的相關(guān)技術(shù)一中文分詞、文本表示、特征提取、文本分類算法以及利用文本分類進(jìn)行網(wǎng)頁信息過濾等方面做了一些探討，著重研究了網(wǎng)頁信息的自動提取技術(shù)以及Kohonen學(xué)習(xí)算法。 本文在對網(wǎng)頁結(jié)構(gòu)進(jìn)行詳細(xì)分析后，提出了對網(wǎng)頁穩(wěn)當(dāng)?shù)牟煌剡M(jìn)行加權(quán)和不同位置、不同關(guān)鍵字進(jìn)行加權(quán)相結(jié)合的方法分析網(wǎng)頁內(nèi)容的方法，按照結(jié)構(gòu)對網(wǎng)頁進(jìn)行解析，利用DOM技術(shù)提取網(wǎng)頁文檔的不同元素中的文本內(nèi)容，并利用當(dāng)前技術(shù)相對成熟的漢

3、語語法分析系統(tǒng)(ICTCLAS)進(jìn)行分詞。 本文結(jié)合多種方法，從文本信息中提取出能充分表示文本信息內(nèi)容的特征信息集合。通過對特征提取常用方法的研究，本文選擇了文檔頻率閾值、x2-統(tǒng)計(jì)量和人工提取相結(jié)合的方法來進(jìn)行特征提取，并利用VSM方法來表示文本。在創(chuàng)建特征詞詞典時，提出創(chuàng)建主詞典和同、近義詞兩個詞典，既降低了向量空間維數(shù)同時提高了特征提取的準(zhǔn)確率。 最后，本文利用KSOM網(wǎng)絡(luò)來訓(xùn)練文本分類機(jī)，并設(shè)計(jì)了一個針對于網(wǎng)頁不