基于網(wǎng)頁自動(dòng)分類的新聞檢索系統(tǒng).pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)頁數(shù)量呈指數(shù)增長。面對(duì)互聯(lián)網(wǎng)上的海量信息，如何快速、準(zhǔn)確地從海量信息中找到自己需要的信息成為當(dāng)前亟待解決的問題。網(wǎng)頁分類作為信息組織和處理的關(guān)鍵技術(shù)，可以用于解決海量網(wǎng)絡(luò)信息帶來的問題，成為Web領(lǐng)域的一個(gè)研究熱點(diǎn)。目前，網(wǎng)頁自動(dòng)分類技術(shù)在主題搜索、個(gè)性化信息檢索、信息過濾、主動(dòng)信息推送服務(wù)等領(lǐng)域得到了廣泛的應(yīng)用。盡管當(dāng)前自動(dòng)分類效果不錯(cuò)，但是還不能滿足工業(yè)化應(yīng)用的需求，有待從特征和算法上進(jìn)一步改進(jìn)。
　　

2、論文通過設(shè)計(jì)并實(shí)現(xiàn)自動(dòng)分類的新聞檢索系統(tǒng)，將網(wǎng)頁分類技術(shù)與搜索引擎緊密的結(jié)合。為了提高網(wǎng)頁分類的效果，本文從網(wǎng)頁信息抽取、特征權(quán)重和特征選擇等方面入手尋求改進(jìn)，以提高網(wǎng)頁分類的效果。
　　本文的研究內(nèi)容主要包括以下幾個(gè)方面：
　?。?）通過分析新聞?lì)惥W(wǎng)頁的頁面源碼，提取出與網(wǎng)頁分類相關(guān)的標(biāo)題、導(dǎo)航及內(nèi)容等文本信息，并比較這些信息在網(wǎng)頁分類中的作用。實(shí)驗(yàn)發(fā)現(xiàn)，新聞網(wǎng)頁的頁面導(dǎo)航信息有助于提高分類效果，而之前的網(wǎng)頁分類研究通常沒

3、有重視這一信息。
　?。?）對(duì)傳統(tǒng)的tf-idf權(quán)重計(jì)算提出改進(jìn)，加入類別分布對(duì)特征詞權(quán)重的影響，并引入調(diào)整參數(shù)，提高權(quán)重對(duì)特征詞的表達(dá)能力。
　?。?）將前面提出的特征與方法應(yīng)用到基于網(wǎng)頁自動(dòng)分類的新聞檢索系統(tǒng)中，并提供新聞檢索和聚類兩種形式提供新聞信息服務(wù)。
　　本文提出的特征和改進(jìn)方法在Newsgroups等4個(gè)數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明頁面導(dǎo)航信息對(duì)提高網(wǎng)頁分類性能具有明顯促進(jìn)作用；改進(jìn)的權(quán)重計(jì)算公式