基于Hadoop平臺(tái)的社區(qū)發(fā)現(xiàn)算法研究.pdf

1、近年來，隨著Internet快速發(fā)展，Web互聯(lián)網(wǎng)絡(luò)已經(jīng)成為了一個(gè)巨大的、分布廣泛的全球信息服務(wù)中心，提供了新聞、財(cái)經(jīng)、商業(yè)、文化、教育等各種信息服務(wù)。互聯(lián)網(wǎng)絡(luò)上極度相關(guān)的頁(yè)面聚集在一起形成的各個(gè)具有共同相關(guān)主題的頁(yè)面集合是Web社區(qū)。Web社區(qū)發(fā)現(xiàn)是指在分散和無序的互聯(lián)網(wǎng)環(huán)境中發(fā)現(xiàn)潛在的和已定義的主題社區(qū)，并從互聯(lián)網(wǎng)中抽取這些社區(qū)的過程。因此，將此技術(shù)用于Web數(shù)據(jù)挖掘具有重要的理論意義和實(shí)用價(jià)值。本文將從理論、算法和實(shí)現(xiàn)等三個(gè)方面研

2、究社區(qū)發(fā)現(xiàn)技術(shù)。
　　本文主要研究基于Web數(shù)據(jù)挖掘技術(shù)的社區(qū)發(fā)現(xiàn)技術(shù)。本文首先闡述了社區(qū)發(fā)現(xiàn)技術(shù)基本理論，用以處理數(shù)據(jù)的Hadoop平臺(tái)的介紹，對(duì)現(xiàn)有的典型社區(qū)發(fā)現(xiàn)算法作了分析，例如Pagerank算法、HITS算法、基于二分圖核的社區(qū)發(fā)現(xiàn)算法、基于最大流的社區(qū)發(fā)現(xiàn)算法等。針對(duì)這些基于結(jié)構(gòu)挖掘的社區(qū)發(fā)現(xiàn)算法算法優(yōu)勢(shì)和缺點(diǎn)，著重針對(duì)PageRank算法僅適合靜態(tài)網(wǎng)頁(yè)排名，且與主題和時(shí)間無關(guān)的缺陷，提出一種新的改進(jìn)社區(qū)發(fā)現(xiàn)算法TTP