基于隱私保護(hù)的數(shù)據(jù)挖掘若干關(guān)鍵技術(shù)研究.pdf

1、數(shù)據(jù)挖掘是指從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過(guò)程。數(shù)據(jù)挖掘技術(shù)的廣泛應(yīng)用使得人們能夠從大量數(shù)據(jù)中獲取隱含的知識(shí)。然而，由于被挖掘的數(shù)據(jù)中通常還包含著許多敏感性的信息，使得數(shù)據(jù)挖掘在帶來(lái)信息時(shí)代知識(shí)學(xué)習(xí)的巨大價(jià)值的同時(shí)，也對(duì)人們的隱私和數(shù)據(jù)安全構(gòu)成了威脅。目前在商業(yè)、軍事及公共醫(yī)療衛(wèi)生等應(yīng)用領(lǐng)域，經(jīng)常面臨著如何在保護(hù)各自隱私安全的前提下進(jìn)行充分的同行業(yè)合作

2、以及數(shù)據(jù)共享的問(wèn)題。因此，如何將數(shù)據(jù)挖掘和隱私保護(hù)有機(jī)地結(jié)合起來(lái)，已經(jīng)是人們面臨的一個(gè)重要課題。
　　 基于隱私保護(hù)的數(shù)據(jù)挖掘(Privacy Preserving Data Mining，簡(jiǎn)稱(chēng)PPDM)是指采用數(shù)據(jù)擾亂、數(shù)據(jù)重構(gòu)、密碼學(xué)等技術(shù)手段，能夠在保證足夠精度和準(zhǔn)確度的前提下，使數(shù)據(jù)挖掘者在不觸及實(shí)際隱私數(shù)據(jù)的同時(shí)，仍能進(jìn)行有效的挖掘工作。其目的就是通過(guò)對(duì)原始數(shù)據(jù)或者挖掘算法進(jìn)行某種改進(jìn)，在不向外界泄漏隱私信息的同時(shí)，發(fā)

3、現(xiàn)原始數(shù)據(jù)的某些統(tǒng)計(jì)規(guī)律或隱含的知識(shí)和規(guī)則。目前圍繞分類(lèi)挖掘、聚類(lèi)挖掘和關(guān)聯(lián)規(guī)則挖掘等主要的數(shù)據(jù)挖掘方法，學(xué)術(shù)界已經(jīng)提出了許多相應(yīng)的PPDM算法。但是在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)和貝葉斯網(wǎng)絡(luò)增量學(xué)習(xí)方面，與之相關(guān)的PPDM算法研究較少，且效率不高。另外，分布式數(shù)據(jù)挖掘中的隱私保護(hù)問(wèn)題較集中式環(huán)境更為復(fù)雜，使得傳統(tǒng)集中式PPDM技術(shù)無(wú)法直接應(yīng)用于分布式環(huán)境中。所以本文針對(duì)這些問(wèn)題展開(kāi)了深入研究。概括地來(lái)說(shuō)，本文的主要研究工作可分為以下幾個(gè)方面：

4、　　 1)反向傳播神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法已經(jīng)被廣泛地應(yīng)用在醫(yī)療診斷，生物信息學(xué)，入侵檢測(cè)，國(guó)土安全等領(lǐng)域。這些應(yīng)用領(lǐng)域有一個(gè)共同點(diǎn)，就是都需要從大量的復(fù)雜的數(shù)據(jù)中抽取模式和預(yù)測(cè)趨勢(shì)。在以上這些應(yīng)用領(lǐng)域中，如何來(lái)保護(hù)敏感數(shù)據(jù)和個(gè)人的隱私信息不被泄露是一個(gè)重要的問(wèn)題。目前已有的反向傳播神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，絕大多數(shù)都沒(méi)有考慮學(xué)習(xí)過(guò)程中如何保護(hù)數(shù)據(jù)的隱私信息。本文為反向傳播神經(jīng)網(wǎng)絡(luò)提出兩個(gè)基于隱私保護(hù)的協(xié)議，分別適用于數(shù)據(jù)被水平分割和數(shù)據(jù)被垂直分割的

5、情況。在建造神經(jīng)網(wǎng)絡(luò)的過(guò)程中，需要為訓(xùn)練樣本集計(jì)算網(wǎng)絡(luò)權(quán)向量。為了保證神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模型的隱私信息不被泄露，本文提出將權(quán)向量分配給所有參與方，使得每個(gè)參與方都具有權(quán)向量的一部分私有值。在對(duì)各層的神經(jīng)元進(jìn)行計(jì)算時(shí)，使用安全點(diǎn)積協(xié)議，安全多方乘積協(xié)議和安全多方加協(xié)議，從而保證神經(jīng)網(wǎng)絡(luò)權(quán)向量的中間值和最終值都是安全的。最后被建造好的學(xué)習(xí)模型被所有參與方安全地共享，并且每個(gè)參與方可以使用該模型為各自的目標(biāo)數(shù)據(jù)預(yù)測(cè)出相應(yīng)的輸出結(jié)果。實(shí)驗(yàn)結(jié)果表明本文

6、所提出的兩個(gè)協(xié)議的執(zhí)行時(shí)間與加密密鑰長(zhǎng)度和參與方數(shù)目之間的關(guān)系。另外，實(shí)驗(yàn)結(jié)果還表明這兩個(gè)協(xié)議與各自的非隱私保護(hù)版本協(xié)議在測(cè)試誤差率上的區(qū)別。
　　 2)貝葉斯網(wǎng)絡(luò)學(xué)習(xí)是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘的另一個(gè)研究方向。在對(duì)貝葉斯網(wǎng)絡(luò)學(xué)習(xí)算法的研究中，一方面需要考慮數(shù)據(jù)的隱私信息不被泄露；另一方面，在現(xiàn)實(shí)世界應(yīng)用中，數(shù)據(jù)可能是逐步到達(dá)貝葉斯網(wǎng)絡(luò)的，因此傳統(tǒng)的貝葉斯網(wǎng)絡(luò)學(xué)習(xí)算法就不能被有效的應(yīng)用。為了解決該問(wèn)題，可以使用增量學(xué)習(xí)的策略。增量學(xué)習(xí)

7、策略可以在安全性、執(zhí)行時(shí)間和內(nèi)存分配方面改善算法的性能，但是目前已有的基于隱私保護(hù)的貝葉斯網(wǎng)絡(luò)學(xué)習(xí)算法都沒(méi)有結(jié)合增量學(xué)習(xí)的策略。所以本文提出一種基于隱私保護(hù)的貝葉斯網(wǎng)絡(luò)增量學(xué)習(xí)算法。該算法所使用的增量學(xué)習(xí)策略是基于充分統(tǒng)計(jì)量的。其思路大致為：首先提出一個(gè)計(jì)算充分統(tǒng)計(jì)量的公式，在此基礎(chǔ)上對(duì)傳統(tǒng)的K2算法進(jìn)行改進(jìn)，并添加了充分統(tǒng)計(jì)量的概念，進(jìn)而提出一個(gè)增量型的K2算法，最后提出基于隱私保護(hù)的貝葉斯網(wǎng)絡(luò)增量學(xué)習(xí)算法。使用該算法可以從那些被水平

8、分割并且是逐步到達(dá)的數(shù)據(jù)中，計(jì)算出網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)。該算法只需要保存每個(gè)結(jié)點(diǎn)和它可能的雙親集合的充分統(tǒng)計(jì)量，就可以計(jì)算出每個(gè)結(jié)點(diǎn)和它的雙親的得分函數(shù)值，從而建造出貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)。實(shí)驗(yàn)結(jié)果表明本文所提出的基于隱私保護(hù)的貝葉斯網(wǎng)絡(luò)增量學(xué)習(xí)算法的執(zhí)行效率高于非增量學(xué)習(xí)算法。另外，實(shí)驗(yàn)結(jié)果還表明增量學(xué)習(xí)算法的執(zhí)行時(shí)間與候選雙親鏈表中所含成員數(shù)目之間的關(guān)系。
　　 3)在分布式環(huán)境下，對(duì)大量的分布式數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘時(shí)，如何保護(hù)數(shù)據(jù)的隱私信息

9、是一個(gè)重要問(wèn)題。本文從系統(tǒng)框架設(shè)計(jì)和算法設(shè)計(jì)兩個(gè)方面來(lái)解決這個(gè)問(wèn)題。在系統(tǒng)框架設(shè)計(jì)方面，本文提出了一種新的適用于頻繁模式挖掘的框架，其中每個(gè)子網(wǎng)絡(luò)只含有一個(gè)ConnectNode，并由其負(fù)責(zé)和其它網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)傳輸，從而提高網(wǎng)絡(luò)之間數(shù)據(jù)傳輸效率。在整個(gè)分布式框架內(nèi)，只有可信結(jié)點(diǎn)可以訪問(wèn)數(shù)據(jù)庫(kù)。在算法設(shè)計(jì)方面，本文提出了一種分布式環(huán)境下基于隱私保護(hù)的頻繁模式挖掘算法，該算法沒(méi)有采用以往的切割傳輸數(shù)據(jù)庫(kù)的方法，而是設(shè)計(jì)出一種傳輸頻繁模式樹(shù)的方

10、法。該方法通過(guò)對(duì)待傳輸?shù)臄?shù)據(jù)先進(jìn)行壓縮再傳輸?shù)姆绞絹?lái)提高網(wǎng)絡(luò)傳輸效率。在該算法中計(jì)算結(jié)點(diǎn)不需要訪問(wèn)數(shù)據(jù)庫(kù)，也不需要各個(gè)結(jié)點(diǎn)交換數(shù)據(jù)內(nèi)容，從而避免數(shù)據(jù)隱私信息被泄露。只有可信結(jié)點(diǎn)才被允許訪問(wèn)數(shù)據(jù)庫(kù)內(nèi)容，所以即使某個(gè)計(jì)算結(jié)點(diǎn)的數(shù)據(jù)被竊取，該數(shù)據(jù)也并不是完整的交易內(nèi)容，從而可以將數(shù)據(jù)泄露的威脅降到最低。實(shí)驗(yàn)結(jié)果表明本文所提出的算法的執(zhí)行效率明顯高于其它并行分布式的頻繁模式挖掘算法。
　　 綜上所述，本文針對(duì)神經(jīng)網(wǎng)絡(luò)和貝葉斯網(wǎng)絡(luò)這兩種主