聚類算法在Web挖掘中的應(yīng)用.pdf

1、隨著．Interllet的迅速發(fā)展，互聯(lián)網(wǎng)上的信息量越來越龐大，它已成為全球最大的信息發(fā)布庫。目前互聯(lián)網(wǎng)上的信息紛繁蕪雜，如何對其內(nèi)容進(jìn)行分析從而挖掘出人們所需要的內(nèi)容這一問題亟待解決。聚類理論可在一定程度上解決這個(gè)問題，不僅節(jié)省了用戶的時(shí)間，而且提高了分析的效率。因此，將聚類理論用于Web挖掘具有重要的理論意義和實(shí)用價(jià)值。本文從理論、算法和應(yīng)用等三個(gè)層次研究了聚類技術(shù)在Web挖掘中的應(yīng)用本文首先闡述了聚類基本理論，對現(xiàn)有的典型聚類算法

2、作了分析。在此基礎(chǔ)上，討論了聚類有效性函數(shù)在聚類算法中的意義，并提出了一種新的基于有效性函數(shù)的聚類算法。該算法與一般的聚類算法相比，無需提供聚類的參數(shù)。算法每步合并兩個(gè)簇，使有效性函數(shù)值增加最大或減小最少。本文運(yùn)用引力模型度量相似度，對可能出現(xiàn)的異常點(diǎn)的情況作均勻化的處理。仿真實(shí)驗(yàn)表明，本文的算法能正確發(fā)現(xiàn)特定數(shù)據(jù)的簇個(gè)數(shù)，和其它聚類方法比較，聚類結(jié)果具有較低的錯(cuò)誤率，并在效率上優(yōu)于一般的基于有效性函數(shù)的聚類算法。 在熱點(diǎn)序列發(fā)

3、現(xiàn)中，對于網(wǎng)絡(luò)上大量出現(xiàn)的新造詞和非標(biāo)準(zhǔn)語法等，本文提出了一種改進(jìn)的最長公共子序列(Longest Common Subsequence)方法。該方法用于提取熱點(diǎn)序列,且運(yùn)用到短文本聚類中，計(jì)算文檔之間的相似度。實(shí)驗(yàn)表明，在無須分詞和無先驗(yàn)知識(shí)的情況下，基于該方法的聚類系統(tǒng)對于標(biāo)題文本有著很高的執(zhí)行效率和較好的準(zhǔn)確率。 本文采用虛擬社團(tuán)發(fā)掘中的Laplace 矩陣譜分解法對網(wǎng)絡(luò)上有菜同討論話題的用戶進(jìn)行聚類分析。該方法將網(wǎng)絡(luò)結(jié)構(gòu)