智能搜索中中文網(wǎng)頁分類和聚類的初步研究.pdf

1、網(wǎng)絡(luò)的發(fā)展使得世界各地越來越豐富的電子資源信息供人們使用，但是隨著數(shù)字信息的爆炸性增長(zhǎng)，快速有效地獲取需要的相關(guān)信息卻又變得越來越困難，因而對(duì)信息獲取技術(shù)的發(fā)展提出了更高的要求。由于網(wǎng)絡(luò)資源的復(fù)雜性，綜合性的搜索引擎不能適應(yīng)用戶對(duì)信息檢索的準(zhǔn)確性要求，因此專業(yè)化、專題化信息搜索技術(shù)成為熱點(diǎn)和趨勢(shì)。本論文研究的是基于內(nèi)容的面向數(shù)碼產(chǎn)品領(lǐng)域的中文Web網(wǎng)頁的信息獲取問題，其主要任務(wù)是從眾多的網(wǎng)頁中分離和過濾出數(shù)碼產(chǎn)品專題網(wǎng)頁，并進(jìn)一步將其分

2、類管理，以達(dá)到為用戶提供更精確信息的目的。 本論文主要對(duì)中文文本自動(dòng)分類和聚類的相關(guān)技術(shù)進(jìn)行了研究和探討，為開發(fā)面向數(shù)碼產(chǎn)品領(lǐng)域的垂直型搜索引擎提供技術(shù)準(zhǔn)備。論文主要工作包括以下幾個(gè)方面： (1)對(duì)數(shù)碼專題Web網(wǎng)頁的時(shí)間和空間的分布規(guī)律、數(shù)碼產(chǎn)品網(wǎng)頁內(nèi)容的特點(diǎn)以及用字用詞情況進(jìn)行了統(tǒng)計(jì)和分析，為進(jìn)一步的研究工作提供了直接依據(jù)。并根據(jù)面向數(shù)碼專題網(wǎng)頁信息獲取的特點(diǎn)，提出了分級(jí)建立資源詞表的思想。 (2)結(jié)合數(shù)碼專

3、題網(wǎng)頁的過濾問題，對(duì)自動(dòng)分類領(lǐng)域中不同的特征選擇方法以及各種分類器的設(shè)計(jì)和性能評(píng)價(jià)方面進(jìn)行了歸納，并利用真實(shí)的網(wǎng)頁數(shù)據(jù)集合進(jìn)行了比較性的實(shí)驗(yàn)。 (3)針對(duì)數(shù)碼產(chǎn)品網(wǎng)頁的分布特點(diǎn)，提出了Improved Rocchio算法和基于增量式學(xué)習(xí)機(jī)制的網(wǎng)頁自適應(yīng)分類方法。由于網(wǎng)頁數(shù)據(jù)存在的復(fù)雜性，在不借助人工判斷的情況下，計(jì)算機(jī)很難做出準(zhǔn)確的相關(guān)性評(píng)價(jià)，利用錯(cuò)誤的評(píng)價(jià)結(jié)果調(diào)整分類器，就容易使分類模型惡化。本論文提出設(shè)置正反例置信區(qū)間的思想