面向大數(shù)據(jù)的Lazy關(guān)聯(lián)分類算法研究.pdf

1、關(guān)聯(lián)分類算法具有較高的分類準(zhǔn)確度、較好的擴(kuò)展性，受到廣大研究人員和工程師的喜愛(ài)。關(guān)聯(lián)分類算法可以分為顯式關(guān)聯(lián)分類和Lazy關(guān)聯(lián)分類。當(dāng)面對(duì)大數(shù)據(jù)的時(shí)候，顯式關(guān)聯(lián)分類沒(méi)有辦法避免生成龐大候選關(guān)聯(lián)規(guī)則集的問(wèn)題并容易出現(xiàn)SmallDisjunction現(xiàn)象。Lazy關(guān)聯(lián)分類使用待分類樣本對(duì)訓(xùn)練集做投影操作，使得訓(xùn)練集大大減小，訓(xùn)練集與待分類樣本關(guān)聯(lián)度增大，很好地解決了顯式關(guān)聯(lián)分類存在的問(wèn)題。
　　然而面對(duì)大數(shù)據(jù)，在Lazy關(guān)聯(lián)分類算法中

2、，每個(gè)待分類樣本都要對(duì)訓(xùn)練樣本進(jìn)行投影并構(gòu)建一個(gè)分類器，對(duì)多個(gè)待分類樣本進(jìn)行分類時(shí)效率很低；分布式關(guān)聯(lián)規(guī)則挖掘算法能夠提升Lazy關(guān)聯(lián)分類算法關(guān)聯(lián)規(guī)則挖掘環(huán)節(jié)的效率，使其適用于大數(shù)據(jù)數(shù)據(jù)挖掘，但針對(duì)Lazy關(guān)聯(lián)分類算法特有的投影操作，并未見(jiàn)分布式實(shí)現(xiàn)；面對(duì)大數(shù)據(jù)，必須使用大數(shù)據(jù)出庫(kù)框架，MapReduce框架不太適用迭代式計(jì)算，需要尋找新的框架來(lái)實(shí)現(xiàn)Lazy關(guān)聯(lián)分類以適應(yīng)大數(shù)據(jù)環(huán)境。
　　因此，本文提出基于Spark的分布式Laz

3、y關(guān)聯(lián)分類算法-SDLAC算法，使用聚合方法來(lái)克服Lazy關(guān)聯(lián)分類對(duì)多個(gè)待分類樣本進(jìn)行分類時(shí)效率低下的問(wèn)題，使用分布式投影來(lái)解決C-DMA算法應(yīng)用于Lazy關(guān)聯(lián)分類時(shí)的不足，使用Spark框架克服MapReduce框架的不足，以期使得Lazy關(guān)聯(lián)分類適用于大數(shù)據(jù)場(chǎng)景并能夠應(yīng)用到實(shí)際當(dāng)中去。分析與實(shí)驗(yàn)結(jié)果表明：SDLAC算法在準(zhǔn)確率上高于CBA算法，與Lazy關(guān)聯(lián)分類算法的準(zhǔn)確率差不多；SDLAC算法的運(yùn)行效率大大的高于CLAC算法（本文

4、實(shí)驗(yàn)對(duì)比算法，代表現(xiàn)有研究最好水平，未有人實(shí)現(xiàn)）。所以，SDLAC算法是適合大數(shù)據(jù)環(huán)境的分類算法。本文的主要貢獻(xiàn)是：
　?、倜鞔_了Lazy關(guān)聯(lián)分類算法面對(duì)大數(shù)據(jù)環(huán)境的不足之處。
　　②提出SDLAC算法，將C-DMA算法應(yīng)用到Lazy關(guān)聯(lián)分類算法中去，并使用聚合方法、分布式投影和Spark框架進(jìn)一步提升算法的運(yùn)行效率，實(shí)現(xiàn)了面向大數(shù)據(jù)的Lazy關(guān)聯(lián)分類算法。
　?、蹖?shí)驗(yàn)表明：SDLAC算法在準(zhǔn)確率上高于CBA算法，與L