數(shù)據(jù)挖掘中的聚類方法及其應用——基于統(tǒng)計學視角的研究.pdf

1、數(shù)據(jù)挖掘是近幾年隨著數(shù)據(jù)庫和人工智能發(fā)展起來的一門新興技術，它從大量原始數(shù)據(jù)中發(fā)掘出隱含的、有用的信息和知識，幫助決策者尋找數(shù)據(jù)間潛在的關聯(lián)，發(fā)現(xiàn)被忽略的因素。數(shù)據(jù)挖掘因其巨大的商業(yè)前景，現(xiàn)已成為國際上數(shù)據(jù)庫和信息決策領域最前沿的研究方向之一，并引起了學術界和工業(yè)界的廣泛關注。 面對海量數(shù)據(jù)，首要的任務就是對其進行歸類，聚類分析就是對原始數(shù)據(jù)進行合理歸類的一種方法。作為數(shù)據(jù)挖掘的一項重要功能，聚類分析能作為一個獨立的工具來獲得數(shù)

2、據(jù)的分布情況，觀察每個類的特點，集中對特定的某些類做進一步的分析。此外，聚類分析也可以作為其它算法的預處理步驟。因此，聚類分析已經(jīng)成為數(shù)據(jù)挖掘領域中一個非常活躍的研究課題。 數(shù)據(jù)挖掘的相關文獻中已經(jīng)存在大量的聚類方法。然而，從目前來看，對數(shù)據(jù)挖掘中聚類方法的研究大都集中于計算機科學領域，更多注重聚類算法的研究，或者對現(xiàn)有聚類方法進行算法上的改進，而很少真正從統(tǒng)計學角度出發(fā)對數(shù)據(jù)挖掘中的聚類問題進行深入分析。本文嘗試從統(tǒng)計學視角出

3、發(fā)，以統(tǒng)計理論為基礎，以統(tǒng)計方法與算法的結(jié)合為基本思路，將一些現(xiàn)有的優(yōu)秀統(tǒng)計方法，如因子分析、對應分析、函數(shù)型數(shù)據(jù)分析等引入數(shù)據(jù)挖掘領域，使其能夠應用于海量數(shù)據(jù)的聚類分析。 本文共分為六章，各章的內(nèi)容安排如下： 第1章介紹了本文的選題背景、研究內(nèi)容以及本文的主要創(chuàng)新之處。 第2章首先簡單闡述了數(shù)據(jù)挖掘的定義、功能和常用技術，然后對當前數(shù)據(jù)挖掘中主要的聚類方法及其研究進展進行了綜述，并從聚類標準、類的標識、聚類算法

4、框架三個角度對各種聚類方法進行了全面而深入的對比與總結(jié)。 第3章通過對經(jīng)典Q型因子模型進行改進，克服了其算法效率上的困難，提出了一種新的海量數(shù)據(jù)聚類方法—Q型因子聚類法，并將其成功應用于上市公司板塊分析，為投資決策提供幫助。 第4章基于Benzécri對應分析的基本思路，結(jié)合Q型因子分析的思想，提出了數(shù)據(jù)挖掘中的對應分析聚類法。利用對應分析聚類法對移動通訊月度消費大型數(shù)據(jù)庫進行聚類分析，實現(xiàn)了移動通訊消費市場的細分。

5、 第5章借助函數(shù)型數(shù)據(jù)分析的基本思想和方法，建立了一個時序數(shù)據(jù)庫聚類分析的一般框架，并將這一方法擴展到多變量的情形，解決了多變量時序數(shù)據(jù)的聚類問題。將該方法應用到投資組合風險管理中，利用聚類結(jié)果進行資產(chǎn)選擇，有效地降低了組合投資風險。 第6章對全文的主要工作進行了總結(jié)，并指出了本文的不足之處以及進一步研究的方向。 本文嘗試在以下幾個方面有所創(chuàng)新： 1．通過對經(jīng)典Q型因子模型進行改進，克服了其算法效率上的困難，

6、提出了一種新的海量數(shù)據(jù)聚類方法--“Q型因子聚類法”。 2．提出了數(shù)據(jù)挖掘中的“對應分析聚類法”。該方法既解決了Q型因子分析算法效率方面的問題，也解決了傳統(tǒng)對應分析法中缺乏客觀分類標準、信息損失嚴重等多種缺陷。 3．在對應分析聚類法的提出過程中，構(gòu)造了對應分析中的標準化因子載荷陣，給出了對應分析中因子得分的求解方法，并首次將因子旋轉(zhuǎn)引入對應分析中，在一定程度上擴展了對應分析的方法和理論體系。 4．借助函數(shù)型數(shù)據(jù)分