數(shù)據(jù)挖掘中的聚類方法及其應(yīng)用——基于統(tǒng)計(jì)學(xué)視角的研究.pdf

1、數(shù)據(jù)挖掘是近幾年隨著數(shù)據(jù)庫(kù)和人工智能發(fā)展起來的一門新興技術(shù)，它從大量原始數(shù)據(jù)中發(fā)掘出隱含的、有用的信息和知識(shí)，幫助決策者尋找數(shù)據(jù)間潛在的關(guān)聯(lián)，發(fā)現(xiàn)被忽略的因素。數(shù)據(jù)挖掘因其巨大的商業(yè)前景，現(xiàn)已成為國(guó)際上數(shù)據(jù)庫(kù)和信息決策領(lǐng)域最前沿的研究方向之一，并引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。 面對(duì)海量數(shù)據(jù)，首要的任務(wù)就是對(duì)其進(jìn)行歸類，聚類分析就是對(duì)原始數(shù)據(jù)進(jìn)行合理歸類的一種方法。作為數(shù)據(jù)挖掘的一項(xiàng)重要功能，聚類分析能作為一個(gè)獨(dú)立的工具來獲得數(shù)

2、據(jù)的分布情況，觀察每個(gè)類的特點(diǎn)，集中對(duì)特定的某些類做進(jìn)一步的分析。此外，聚類分析也可以作為其它算法的預(yù)處理步驟。因此，聚類分析已經(jīng)成為數(shù)據(jù)挖掘領(lǐng)域中一個(gè)非?；钴S的研究課題。 數(shù)據(jù)挖掘的相關(guān)文獻(xiàn)中已經(jīng)存在大量的聚類方法。然而，從目前來看，對(duì)數(shù)據(jù)挖掘中聚類方法的研究大都集中于計(jì)算機(jī)科學(xué)領(lǐng)域，更多注重聚類算法的研究，或者對(duì)現(xiàn)有聚類方法進(jìn)行算法上的改進(jìn)，而很少真正從統(tǒng)計(jì)學(xué)角度出發(fā)對(duì)數(shù)據(jù)挖掘中的聚類問題進(jìn)行深入分析。本文嘗試從統(tǒng)計(jì)學(xué)視角出

3、發(fā)，以統(tǒng)計(jì)理論為基礎(chǔ)，以統(tǒng)計(jì)方法與算法的結(jié)合為基本思路，將一些現(xiàn)有的優(yōu)秀統(tǒng)計(jì)方法，如因子分析、對(duì)應(yīng)分析、函數(shù)型數(shù)據(jù)分析等引入數(shù)據(jù)挖掘領(lǐng)域，使其能夠應(yīng)用于海量數(shù)據(jù)的聚類分析。 本文共分為六章，各章的內(nèi)容安排如下： 第1章介紹了本文的選題背景、研究?jī)?nèi)容以及本文的主要?jiǎng)?chuàng)新之處。 第2章首先簡(jiǎn)單闡述了數(shù)據(jù)挖掘的定義、功能和常用技術(shù)，然后對(duì)當(dāng)前數(shù)據(jù)挖掘中主要的聚類方法及其研究進(jìn)展進(jìn)行了綜述，并從聚類標(biāo)準(zhǔn)、類的標(biāo)識(shí)、聚類算法

4、框架三個(gè)角度對(duì)各種聚類方法進(jìn)行了全面而深入的對(duì)比與總結(jié)。 第3章通過對(duì)經(jīng)典Q型因子模型進(jìn)行改進(jìn)，克服了其算法效率上的困難，提出了一種新的海量數(shù)據(jù)聚類方法—Q型因子聚類法，并將其成功應(yīng)用于上市公司板塊分析，為投資決策提供幫助。 第4章基于Benzécri對(duì)應(yīng)分析的基本思路，結(jié)合Q型因子分析的思想，提出了數(shù)據(jù)挖掘中的對(duì)應(yīng)分析聚類法。利用對(duì)應(yīng)分析聚類法對(duì)移動(dòng)通訊月度消費(fèi)大型數(shù)據(jù)庫(kù)進(jìn)行聚類分析，實(shí)現(xiàn)了移動(dòng)通訊消費(fèi)市場(chǎng)的細(xì)分。

5、 第5章借助函數(shù)型數(shù)據(jù)分析的基本思想和方法，建立了一個(gè)時(shí)序數(shù)據(jù)庫(kù)聚類分析的一般框架，并將這一方法擴(kuò)展到多變量的情形，解決了多變量時(shí)序數(shù)據(jù)的聚類問題。將該方法應(yīng)用到投資組合風(fēng)險(xiǎn)管理中，利用聚類結(jié)果進(jìn)行資產(chǎn)選擇，有效地降低了組合投資風(fēng)險(xiǎn)。 第6章對(duì)全文的主要工作進(jìn)行了總結(jié)，并指出了本文的不足之處以及進(jìn)一步研究的方向。 本文嘗試在以下幾個(gè)方面有所創(chuàng)新： 1．通過對(duì)經(jīng)典Q型因子模型進(jìn)行改進(jìn)，克服了其算法效率上的困難，

6、提出了一種新的海量數(shù)據(jù)聚類方法--“Q型因子聚類法”。 2．提出了數(shù)據(jù)挖掘中的“對(duì)應(yīng)分析聚類法”。該方法既解決了Q型因子分析算法效率方面的問題，也解決了傳統(tǒng)對(duì)應(yīng)分析法中缺乏客觀分類標(biāo)準(zhǔn)、信息損失嚴(yán)重等多種缺陷。 3．在對(duì)應(yīng)分析聚類法的提出過程中，構(gòu)造了對(duì)應(yīng)分析中的標(biāo)準(zhǔn)化因子載荷陣，給出了對(duì)應(yīng)分析中因子得分的求解方法，并首次將因子旋轉(zhuǎn)引入對(duì)應(yīng)分析中，在一定程度上擴(kuò)展了對(duì)應(yīng)分析的方法和理論體系。 4．借助函數(shù)型數(shù)據(jù)分