基于Web挖掘的網(wǎng)絡社區(qū)研究.pdf

1、傳統(tǒng)的Web挖掘技術包含三個領域：Web文本挖掘、Web結構挖掘和Web日志挖掘。通過Web自身所包含的鏈接結構以及網(wǎng)頁間通過鏈接所構成的網(wǎng)絡拓撲結構，導出一個類似于人類社會生活中的網(wǎng)絡社區(qū)，已成為Web挖掘研究的共識。而且一系列商業(yè)網(wǎng)站社區(qū)目錄的成功應用如Yahoo，也印證了網(wǎng)絡社區(qū)研究的必要性和可行性?！　”疚拈_展了基于Web挖掘的網(wǎng)絡社區(qū)的研究。目標是利用Web鏈接結構的特點深入探討網(wǎng)絡社區(qū)的發(fā)展和應用。在本研究項目實施中，主要

2、的工作和成果如下：　　1、為獲取Web鏈接結構數(shù)據(jù)源，在Java平臺上編制了一個數(shù)據(jù)采集系統(tǒng)Spider。通過給定一個鏈接，Spider可以自動將源鏈接指定的網(wǎng)站內部所包含的網(wǎng)頁進行截取，從而獲得鏈接結構數(shù)據(jù)源；　　2、針對鏈接結構數(shù)據(jù)源的特點，為保證實驗研究的正確性和可靠性，實驗中采取了一系列的數(shù)據(jù)預處理方法，使得數(shù)據(jù)源可滿足算法條件，為實驗系統(tǒng)所用；　　3、基于J2EE持久層理念，利用成熟、穩(wěn)定的持久層架構Hibernate組

3、件，建立了實驗系統(tǒng)：完成從數(shù)據(jù)導入到數(shù)據(jù)分析、刪除和抽取一整套完整的算法流程，并實現(xiàn)了算法系統(tǒng)。持久層理念的融入以及相關組件的應用，方便和簡化了實驗研究工作，降低了傳統(tǒng)的Web結構挖掘的技術門檻；　　4、對網(wǎng)絡社區(qū)發(fā)現(xiàn)進行了深入研究，實現(xiàn)了以完全二分有向圖為理論基礎的消去-產生算法，并且和相關研究進行了具體分析、對比；　　5、在結合實驗研究的情況下，提出了改進抽取網(wǎng)絡社區(qū)核心的新方法，即將網(wǎng)絡社區(qū)發(fā)現(xiàn)的算法理論基礎以二分有向圖代替。