WEB中文文本聚類分類系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、文本分類和聚類是文本信息處理領(lǐng)域的一個(gè)重要分支，其目標(biāo)就是研究如何更有效地組織和管理文本信息，并快速、準(zhǔn)確、全面地從中找到、分流、定位和形成用戶所需要的信息。文本分類和聚類作為獲取和組織大量文本數(shù)據(jù)的關(guān)鍵技術(shù)，可以在很大程度上解決信息雜亂和信息爆炸的問題。而且作為信息過濾、信息檢索、搜索引擎、文本數(shù)據(jù)庫、數(shù)字化圖書館等領(lǐng)域的技術(shù)基礎(chǔ)，文本分類和聚類有著廣闊的應(yīng)用前景。 本文首先從理論上介紹了Web挖掘，分析了Web挖掘的不同，并

2、對(duì)Web挖掘中的兩個(gè)重要分支聚類和分類以及涉及到的相關(guān)理論做了闡述。其次Web文檔中的特征表示、特征加權(quán)進(jìn)行了系統(tǒng)的研究，并開發(fā)了一套從解析HTML文檔、提取特征、計(jì)算權(quán)值、聚類、分類、可視化的軟件。軟件采用了多線程技術(shù)。 介紹和實(shí)現(xiàn)了常用聚類算法對(duì)文本聚類的應(yīng)用，其中采用了最常用的四種聚類算法，K-means算法、模糊C均值算法(FCM)、層次聚類法(HAC)以及粒子群優(yōu)化算法(PSO)。并對(duì)主成分分析(PCA)做了相應(yīng)介紹，

3、通過對(duì)高維數(shù)據(jù)進(jìn)行主成分變換達(dá)到降維的效果，最后選取PCA變換后的前兩維作為二維顯示的可視化結(jié)果。 分析了傳統(tǒng)粒子群優(yōu)化算法存在的不足，提出了一種基于密度的粒子群優(yōu)化算法，和對(duì)粒子群的初始化方法，該算法具有傳統(tǒng)粒子群算法尋找最優(yōu)解的特點(diǎn)，同時(shí)從密度的角度考慮了數(shù)據(jù)總體的分布，增強(qiáng)了尋找局部最優(yōu)解的能力，并通過對(duì)粒子群的初始化加快了粒子群的收斂速度，得到了更好的聚類效果。對(duì)仿真數(shù)據(jù)和IRIS真實(shí)數(shù)據(jù)的實(shí)驗(yàn)結(jié)果證明，該算法聚類效果優(yōu)