基于復(fù)雜網(wǎng)絡(luò)的數(shù)據(jù)挖掘分類問題研究與應(yīng)用.pdf

1、隨著信息技術(shù)的快速發(fā)展，特別是計(jì)算機(jī)技術(shù)的不斷普及，“數(shù)據(jù)豐富而信息貧乏”這一矛盾顯得日益突出，數(shù)據(jù)挖掘技術(shù)正是迎合了這一需求，同時(shí)結(jié)合數(shù)理統(tǒng)計(jì)、人工智能、神經(jīng)網(wǎng)絡(luò)和信息技術(shù)等學(xué)科出現(xiàn)的一項(xiàng)新技術(shù)，并得到了迅速發(fā)展。數(shù)據(jù)挖掘的主要目的是從數(shù)據(jù)集中發(fā)現(xiàn)隱含的、事先未知的和用戶感興趣的知識。作為一種有效的數(shù)據(jù)分析技術(shù)，近年來分類(Classification)已成為數(shù)據(jù)挖掘領(lǐng)域中的一項(xiàng)重要研究內(nèi)容，并廣泛應(yīng)用于商業(yè)、電子商務(wù)、基因工程和醫(yī)學(xué)

2、等諸多領(lǐng)域。
　　 復(fù)雜網(wǎng)絡(luò)作為一門新興學(xué)科，在不同的領(lǐng)域(如生態(tài)、人口、經(jīng)濟(jì)、社會(huì)、地理、軍事、醫(yī)學(xué))中有著很強(qiáng)的應(yīng)用背景，倍受廣大學(xué)者的青睞和關(guān)注，已成為一個(gè)充滿生命力的交叉研究領(lǐng)域。一切事物都是相互作用的表現(xiàn)，大多可以通過復(fù)雜網(wǎng)絡(luò)來表現(xiàn)，如物理學(xué)研究物體間最基本的相互作用；化學(xué)研究分子間的相互作用；生物學(xué)研究基因、蛋白質(zhì)以及生物體之間的相互作用；社會(huì)科學(xué)研究人和各種人類組之間的相互作用；分類問題研究數(shù)據(jù)點(diǎn)之間的相互作用。因

3、此，事物作為系統(tǒng)，其結(jié)構(gòu)可以抽象為網(wǎng)絡(luò)，各類作用體抽象為網(wǎng)絡(luò)節(jié)點(diǎn)，各種相互作用抽象為節(jié)點(diǎn)之間的連接線或邊。基于這種思想，本文將數(shù)據(jù)集按照某種度量抽象成為復(fù)雜網(wǎng)絡(luò)，結(jié)合復(fù)雜網(wǎng)絡(luò)的理論、成果和已有的某些分類、聚類方法對數(shù)據(jù)挖掘分類問題進(jìn)行了相關(guān)研究，提高了對大型數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行分類的能力，具有一定的研究價(jià)值。
　　 復(fù)雜網(wǎng)絡(luò)的社團(tuán)探測與數(shù)據(jù)挖掘中分類、聚類問題在本質(zhì)上是一樣的，因而社團(tuán)探測的研究和分類問題的研究在某種角度上是一脈相

4、承的。
　　 本文在復(fù)雜網(wǎng)絡(luò)的基礎(chǔ)上，對分類問題做了以下三個(gè)方面的工作：
　　 提出了一種基于K-means聚類算法的復(fù)雜網(wǎng)絡(luò)社團(tuán)結(jié)構(gòu)劃分方法，豐富和發(fā)展了復(fù)雜網(wǎng)絡(luò)社團(tuán)探測理論和方法。算法基于Fortunato等人提出的邊的信息中心度，定義了節(jié)點(diǎn)的關(guān)聯(lián)度，并通過節(jié)點(diǎn)關(guān)聯(lián)度矩陣來進(jìn)行聚類中心的選擇和節(jié)點(diǎn)聚類，從而將復(fù)雜網(wǎng)絡(luò)劃分成K個(gè)社團(tuán)，然后通過模塊度來確定網(wǎng)絡(luò)理想的社團(tuán)結(jié)構(gòu)。該算法時(shí)間復(fù)雜度為線性的，適合大型網(wǎng)絡(luò)的社團(tuán)發(fā)

5、現(xiàn)。通過Zachary Karate Club和CollegePootball Network兩個(gè)經(jīng)典模型驗(yàn)證了該算法的可行性。
　　 遺傳算法作為一個(gè)成熟的理論，在分類方面有著很大優(yōu)勢，結(jié)合復(fù)雜網(wǎng)絡(luò)的部分新理論和遺傳算法的思想，提出了一種新的分類方法。該方法將數(shù)據(jù)集按給定的相似度公式構(gòu)造出具有社團(tuán)結(jié)構(gòu)的網(wǎng)絡(luò)，在此網(wǎng)絡(luò)的基礎(chǔ)上用遺傳算法的思想進(jìn)行分類。算法引進(jìn)社團(tuán)模塊度作為適應(yīng)度函數(shù)，并且提出了節(jié)點(diǎn)歸類錯(cuò)誤率(NCM)對每次迭代

6、產(chǎn)生的解進(jìn)行糾錯(cuò)，提高了分類質(zhì)量和速度。實(shí)驗(yàn)證明該方法在分類精度和分類速度方面都非常理想，并可實(shí)現(xiàn)并行性，將遺傳算法的優(yōu)點(diǎn)發(fā)揮到極致。
　　 醫(yī)學(xué)圖像分類對實(shí)現(xiàn)智能化診斷系統(tǒng)有著重要的實(shí)際意義，是典型的分類挖掘問題之一，同時(shí)也是一個(gè)熱點(diǎn)的應(yīng)用研究課題。為了建立高效的腫瘤自動(dòng)診斷系統(tǒng)，克服因醫(yī)學(xué)MIR圖像的復(fù)雜性帶來的直接從圖像中看出腫瘤及良、惡性質(zhì)的困難，結(jié)合復(fù)雜網(wǎng)絡(luò)的部分理論成果和K-means聚類算法的思想，提出了基于加權(quán)復(fù)