基于統(tǒng)計(jì)視角的數(shù)據(jù)挖掘應(yīng)用研究.pdf

1、數(shù)據(jù)挖掘作為一個(gè)新型的跨領(lǐng)域的綜合性學(xué)科，一經(jīng)出現(xiàn)便顯示出其強(qiáng)大的生命力。統(tǒng)計(jì)學(xué)、數(shù)據(jù)倉庫和機(jī)器學(xué)習(xí)技術(shù)共同構(gòu)成數(shù)據(jù)挖掘的三大核心技術(shù)，統(tǒng)計(jì)方法也是最基本的數(shù)據(jù)挖掘方法之一，它滲透于數(shù)據(jù)挖掘領(lǐng)域的各個(gè)階段。但從目前國內(nèi)外的研究現(xiàn)狀看，從事數(shù)據(jù)挖掘研究的主要是計(jì)算機(jī)領(lǐng)域的學(xué)者和專家，統(tǒng)計(jì)學(xué)界的學(xué)者和專家對(duì)數(shù)據(jù)挖掘的研究相對(duì)較少。而隨著數(shù)據(jù)存儲(chǔ)技術(shù)的不斷發(fā)展，可用于數(shù)據(jù)分析的數(shù)據(jù)量越來越大，對(duì)傳統(tǒng)的統(tǒng)計(jì)分析技術(shù)提出了極大的挑戰(zhàn)。 本

2、文嘗試從統(tǒng)計(jì)學(xué)的角度對(duì)數(shù)據(jù)挖掘進(jìn)行應(yīng)用性研究，使統(tǒng)計(jì)學(xué)方法適應(yīng)數(shù)據(jù)量變化，繼續(xù)發(fā)揮其處理數(shù)據(jù)、分析數(shù)據(jù)的重要作用，并期望能對(duì)統(tǒng)計(jì)學(xué)理論在數(shù)據(jù)挖掘方向的發(fā)展做出探索。 首先，針對(duì)目前數(shù)據(jù)挖掘大多側(cè)重于算法設(shè)計(jì)及實(shí)現(xiàn)的現(xiàn)狀，本文著重歸納總結(jié)了國內(nèi)外統(tǒng)計(jì)學(xué)領(lǐng)域的專家、學(xué)者在數(shù)據(jù)挖掘方面的探索和取得的成果，奠定了本文的理論基礎(chǔ)。然后分別從內(nèi)涵、區(qū)別、聯(lián)系等方面對(duì)統(tǒng)計(jì)學(xué)與數(shù)據(jù)挖掘的關(guān)系進(jìn)行了詳盡對(duì)比分析，以釋清疑惑，明確本文的出發(fā)點(diǎn)。接下

3、來著重從統(tǒng)計(jì)學(xué)的角度對(duì)數(shù)據(jù)挖掘中主要的技術(shù)和方法進(jìn)行綜述，其中既有對(duì)數(shù)據(jù)挖掘中使用的傳統(tǒng)統(tǒng)計(jì)方法的概括，也有對(duì)其它領(lǐng)域的數(shù)據(jù)挖掘技術(shù)、方法的統(tǒng)計(jì)學(xué)角度的嘗試性闡釋，最后還給出了評(píng)價(jià)各種數(shù)據(jù)挖掘方法的統(tǒng)計(jì)學(xué)標(biāo)準(zhǔn)。 實(shí)證部分是本文的重點(diǎn)章節(jié)，在結(jié)構(gòu)方面，依據(jù)統(tǒng)計(jì)學(xué)的理論框架分為了描述性數(shù)據(jù)挖掘與預(yù)測(cè)性數(shù)據(jù)挖掘兩部分。在描述性數(shù)據(jù)挖掘中利用統(tǒng)計(jì)學(xué)的思維和方法對(duì)原始數(shù)據(jù)進(jìn)行了大量探索性分析（一元分析、二元分析、多元分析），從而對(duì)待挖掘的

4、數(shù)據(jù)有了一個(gè)整體的概括性了解，便于進(jìn)一步明確挖掘的思路及所用的方法。隨后將質(zhì)量指標(biāo)（電影評(píng)分值）與數(shù)量指標(biāo)（觀看數(shù)量）相結(jié)合并引進(jìn)概率理論建立了用戶類興趣評(píng)價(jià)模型，實(shí)現(xiàn)了第一步的挖掘任務(wù)。在預(yù)測(cè)性數(shù)據(jù)挖掘階段針對(duì)現(xiàn)有聚類方法及統(tǒng)計(jì)軟件無法實(shí)現(xiàn)動(dòng)態(tài)聚類的不足，根據(jù)聚類分析的基本思想及此次挖掘任務(wù)的特殊要求提出了改進(jìn)后的動(dòng)態(tài)聚類分析方法，并將其利用MATLAB編程實(shí)現(xiàn)。另外，在整個(gè)挖掘過程中為適應(yīng)各種挖掘方法的需要，對(duì)數(shù)據(jù)進(jìn)行了一系列的創(chuàng)造

5、性的編程處理，隨后綜合運(yùn)用了當(dāng)今的主流統(tǒng)計(jì)軟件SPSS15．0以及數(shù)據(jù)挖掘軟件SPSS Clementine12．0、SQL2005 Busyness Miner、Markway3．0，進(jìn)行了關(guān)聯(lián)規(guī)則挖掘及決策樹的建立并用于預(yù)測(cè)，對(duì)于上述軟件無法解決的任務(wù)同時(shí)輔以MATLAB7．0編程來綜合實(shí)現(xiàn)。 統(tǒng)計(jì)學(xué)如何為數(shù)據(jù)挖掘服務(wù)，這是在“數(shù)據(jù)挖掘”飛速發(fā)展的今天，統(tǒng)計(jì)工作者必須回答的一個(gè)問題。隨著統(tǒng)計(jì)學(xué)與現(xiàn)代信息技術(shù)的融合，數(shù)據(jù)挖掘技