基于多核心與多圖形處理單元的數(shù)據(jù)挖掘算法研究與實(shí)現(xiàn).pdf

1、在數(shù)字化的時代，隨著網(wǎng)絡(luò)和信息技術(shù)的迅猛發(fā)展，各行各業(yè)都積累了大量的數(shù)據(jù)，利用這些數(shù)據(jù)挖掘出潛在規(guī)則從而更好的為生活和工作服務(wù)已經(jīng)成為新的趨勢，因此基于關(guān)聯(lián)規(guī)則的數(shù)據(jù)挖掘技術(shù)在當(dāng)今扮演著重要的角色。過去基于單核心架構(gòu)的數(shù)據(jù)挖掘算法已經(jīng)十分成熟，近年來隨著硬件體系的高速發(fā)展，多核心（Multi-Core）架構(gòu)的計(jì)算處理設(shè)備得到了極大的普及，特別是圖形處理單元(GPU）運(yùn)算能力顯著增強(qiáng)，因此利用多核心CPU+GPU混合架構(gòu)進(jìn)行并行數(shù)據(jù)挖掘運(yùn)

2、算已成為新趨勢。
　　在數(shù)據(jù)挖掘相關(guān)的研究方法中，Apriori算法是最具代表性的關(guān)聯(lián)式挖掘算法。傳統(tǒng)的Apriori算法在數(shù)據(jù)量增大時會導(dǎo)致運(yùn)算時間呈指數(shù)增長，因此效率極低。另外，將基于傳統(tǒng)單核架構(gòu)Apriori算法移植到多核心和多圖形處理單元的混合架構(gòu)上時，因運(yùn)行環(huán)境及框架不同，無法達(dá)到利用平臺資源達(dá)到加速的效果。因此為了改進(jìn) Apriori算法的不足，使算法充分利用多核心CPU+GPU混合架構(gòu)的運(yùn)算資源，從而提高算法運(yùn)算效率

3、，研究基于多核心和多圖形處理器混合架構(gòu)的改進(jìn)Apriori算法具有重大意義。
　　Apriori算法可分成兩個部分，分別為確認(rèn)候選項(xiàng)目集以及縮小判斷的范圍，最終進(jìn)行高頻項(xiàng)目合并。針對冗余候選項(xiàng)目集的產(chǎn)生數(shù)目過多的問題，本文提出對低階頻繁集進(jìn)行排序的策略，從而提高頻繁集合并的效率。針對多核心架構(gòu)，為使多核心之間達(dá)到負(fù)載均衡，本文提出將頻繁集進(jìn)行項(xiàng)目分群、排程分配、快速合并的策略，依照不同的項(xiàng)目分為不同的族群，縮減合并范圍，將可組合成

4、候選項(xiàng)目的多種方法強(qiáng)制收斂為單一方法，最終達(dá)到加速算法的效果。
　　為了充分利用GPU的高浮點(diǎn)運(yùn)算能力資源，本文利用并行的GPU進(jìn)程分配機(jī)制，根據(jù)排序后項(xiàng)目的數(shù)量判斷所需要的GPU線程數(shù)量，利用 GPU計(jì)算門檻值，降低支持度計(jì)算的花費(fèi)時間，減少檢查和比對項(xiàng)目的次數(shù)，提高候選項(xiàng)目集確認(rèn)時間，并將結(jié)果返回CPU中以進(jìn)行下一階的運(yùn)算。
　　為驗(yàn)證算法的正確性與高效性，本文分別利用虛擬與真實(shí)的數(shù)據(jù)庫作為模擬實(shí)驗(yàn)數(shù)據(jù)平臺，設(shè)計(jì)不同參數(shù)