Web社區(qū)結(jié)構(gòu)挖掘的研究與應(yīng)用.pdf

1、Web是一個(gè)復(fù)雜超文本所組成的巨大信息源，而且以很快的速度在不斷的擴(kuò)大，Web在發(fā)展過(guò)程中存在著大量的社區(qū)，這些社區(qū)是Web組織中非常重要的信息，社區(qū)可以為用戶提供有價(jià)值的、可靠的、及時(shí)的信息，社區(qū)反映了Web中普遍存在的、復(fù)雜的聚團(tuán)關(guān)系和層次關(guān)系。如何利用和發(fā)現(xiàn)Web中的社區(qū)，是Web挖掘的一個(gè)研究方向。 本文在分析了Web社區(qū)的定義、社區(qū)的發(fā)展、Web數(shù)據(jù)挖掘的概念與分類、鏈接分析技術(shù)等基礎(chǔ)理論的基礎(chǔ)上，對(duì)Web社區(qū)結(jié)構(gòu)挖掘

2、的典型算法：基于重要度分析的PageRank算法、基于有向二分圖的Trawling算法、基于主題提取的HITS算法進(jìn)行了詳細(xì)的分析和比較。重點(diǎn)研究了傳統(tǒng)最大流算法和基于HITS算法的邊容量分配最大流算法的實(shí)現(xiàn)過(guò)程及在社區(qū)挖掘中存在的問(wèn)題。傳統(tǒng)最大流算法雖然能較好的解決主題漂移問(wèn)題，但對(duì)社區(qū)的質(zhì)量和數(shù)量也會(huì)帶來(lái)許多不利的影響。而基于HITS算法的邊容量分配最大流算法因?yàn)椴捎脙蓚€(gè)結(jié)點(diǎn)的中心值和權(quán)威值的簡(jiǎn)單加和平均作為邊容量，從而有可能增加噪

3、音頁(yè)面被提取到社區(qū)。為解決上述算法中存在的問(wèn)題，本文提出了基于傳遞概率的邊容量分配最大流改進(jìn)算法，該算法將節(jié)點(diǎn)連接度和節(jié)點(diǎn)相關(guān)度這兩個(gè)不同角度的屬性特征量化地融合到連邊的傳遞概率中，根據(jù)傳遞概率分配邊的容量，傳遞概率的計(jì)算綜合考慮了節(jié)點(diǎn)之問(wèn)的多種因素，對(duì)原算法進(jìn)行了優(yōu)化。 本文最后設(shè)計(jì)了一個(gè)Web社區(qū)結(jié)構(gòu)挖掘系統(tǒng)，該系統(tǒng)利用本文提出的改進(jìn)算法進(jìn)行Web社區(qū)挖掘，經(jīng)過(guò)大量的實(shí)驗(yàn)證明，該系統(tǒng)能較好的解決傳統(tǒng)算法在社區(qū)挖掘中存在的一些