基于Web挖掘的網(wǎng)絡(luò)社區(qū)研究.pdf

1、傳統(tǒng)的Web挖掘技術(shù)包含三個領(lǐng)域：Web文本挖掘、Web結(jié)構(gòu)挖掘和Web日志挖掘。通過Web自身所包含的鏈接結(jié)構(gòu)以及網(wǎng)頁間通過鏈接所構(gòu)成的網(wǎng)絡(luò)拓撲結(jié)構(gòu)，導(dǎo)出一個類似于人類社會生活中的網(wǎng)絡(luò)社區(qū)，已成為Web挖掘研究的共識。而且一系列商業(yè)網(wǎng)站社區(qū)目錄的成功應(yīng)用如Yahoo，也印證了網(wǎng)絡(luò)社區(qū)研究的必要性和可行性?！　”疚拈_展了基于Web挖掘的網(wǎng)絡(luò)社區(qū)的研究。目標是利用Web鏈接結(jié)構(gòu)的特點深入探討網(wǎng)絡(luò)社區(qū)的發(fā)展和應(yīng)用。在本研究項目實施中，主要

2、的工作和成果如下：　　1、為獲取Web鏈接結(jié)構(gòu)數(shù)據(jù)源，在Java平臺上編制了一個數(shù)據(jù)采集系統(tǒng)Spider。通過給定一個鏈接，Spider可以自動將源鏈接指定的網(wǎng)站內(nèi)部所包含的網(wǎng)頁進行截取，從而獲得鏈接結(jié)構(gòu)數(shù)據(jù)源；　　2、針對鏈接結(jié)構(gòu)數(shù)據(jù)源的特點，為保證實驗研究的正確性和可靠性，實驗中采取了一系列的數(shù)據(jù)預(yù)處理方法，使得數(shù)據(jù)源可滿足算法條件，為實驗系統(tǒng)所用；　　3、基于J2EE持久層理念，利用成熟、穩(wěn)定的持久層架構(gòu)Hibernate組

3、件，建立了實驗系統(tǒng)：完成從數(shù)據(jù)導(dǎo)入到數(shù)據(jù)分析、刪除和抽取一整套完整的算法流程，并實現(xiàn)了算法系統(tǒng)。持久層理念的融入以及相關(guān)組件的應(yīng)用，方便和簡化了實驗研究工作，降低了傳統(tǒng)的Web結(jié)構(gòu)挖掘的技術(shù)門檻；　　4、對網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)進行了深入研究，實現(xiàn)了以完全二分有向圖為理論基礎(chǔ)的消去-產(chǎn)生算法，并且和相關(guān)研究進行了具體分析、對比；　　5、在結(jié)合實驗研究的情況下，提出了改進抽取網(wǎng)絡(luò)社區(qū)核心的新方法，即將網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)的算法理論基礎(chǔ)以二分有向圖代替。