基于經(jīng)驗(yàn)?zāi)B(tài)分解及動(dòng)態(tài)數(shù)據(jù)挖掘的商務(wù)數(shù)據(jù)分析方法研究.pdf

1、隨著計(jì)算機(jī)技術(shù)的發(fā)展和普及，企業(yè)生成、收集、存儲(chǔ)及處理數(shù)據(jù)的能力大大提高，數(shù)據(jù)量與日俱增。大量豐富的數(shù)據(jù)使得傳統(tǒng)的數(shù)據(jù)分析方式陷入了困境，數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生，它是一個(gè)新興的邊緣學(xué)科，涉及機(jī)器學(xué)習(xí)、模式識(shí)別、數(shù)據(jù)庫(kù)、統(tǒng)計(jì)、人工智能等多門學(xué)科。商務(wù)數(shù)據(jù)挖掘是數(shù)據(jù)挖掘中的一個(gè)重要研究方面，目前關(guān)于商務(wù)數(shù)據(jù)中的靜態(tài)數(shù)據(jù)分析模型已經(jīng)慢慢變得成熟，但是經(jīng)驗(yàn)?zāi)B(tài)分解算法及動(dòng)態(tài)數(shù)據(jù)挖掘在商務(wù)數(shù)據(jù)分析中的應(yīng)用研究，仍處在起步階段。 經(jīng)驗(yàn)?zāi)B(tài)分解

2、(Empirical Mode Decomposition，EMD)被認(rèn)為是不同于以傅里葉變換為基礎(chǔ)的線性和穩(wěn)態(tài)譜分析方法的一種時(shí)頻分析方法。本文以基于經(jīng)驗(yàn)?zāi)B(tài)分解方法及動(dòng)態(tài)數(shù)據(jù)挖掘的商務(wù)數(shù)據(jù)分析為目標(biāo)，研究了經(jīng)驗(yàn)?zāi)B(tài)分解方法的基本原理和算法思想；針對(duì)其端點(diǎn)效應(yīng)等不足，提出了新的數(shù)據(jù)延拓技術(shù)；針對(duì)EMD算法的精度和速度上的不足，提出了相應(yīng)的改進(jìn)措施；并研究了EMD分解、構(gòu)造性神經(jīng)網(wǎng)絡(luò)覆蓋算法以及K-means聚類等方法各自獨(dú)特的特點(diǎn)，以

3、及這些方法與其他理論的結(jié)合點(diǎn)，為動(dòng)態(tài)數(shù)據(jù)挖掘中遇到的一些問題提供新的解決方案，并把它們應(yīng)用在商務(wù)數(shù)據(jù)的分析中。主要工作包括： 1.論述了本論文的研究背景；綜述了時(shí)頻分析方法的發(fā)展；介紹了EMD方法及其國(guó)內(nèi)外研究現(xiàn)狀，以及動(dòng)態(tài)數(shù)據(jù)挖掘的研究?jī)?nèi)容；最后，闡述了本文的研究?jī)?nèi)容、總體框架和創(chuàng)新之處。 2.介紹了基于EMD時(shí)頻分析方法的一些基本概念；闡述了基于EMD的希爾伯特變換的基本原理和算法；在此基礎(chǔ)上，用基于EMD的時(shí)頻分析

4、方法對(duì)仿真信號(hào)進(jìn)行了分析驗(yàn)證，結(jié)果表明把該方法引入非線性非平穩(wěn)序列的分析是理想的。 3.介紹了EMD算法端點(diǎn)效應(yīng)的機(jī)理；然后系統(tǒng)地研究了基于神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的數(shù)據(jù)序列延拓技術(shù)和鏡像延拓技術(shù)的特點(diǎn)及性能；最后，對(duì)各種延拓技術(shù)進(jìn)行了比較研究，分析了各種延拓技術(shù)的優(yōu)缺點(diǎn)，并提出了基于多項(xiàng)式擬合的數(shù)據(jù)延拓技術(shù)。 4.從提高速度與精度兩方面著手，對(duì)EMD算法進(jìn)行了系統(tǒng)研究。首先研究埃爾米特Hermite插值和三次樣條插值哪個(gè)更適合獲取

5、序列的上、下包絡(luò)線，結(jié)果表明三次樣條插值效果較好；接著研究利用三次樣條插值獲得序列數(shù)據(jù)包絡(luò)線的效果，結(jié)果表明該方法是理想的；然后闡述了樣條插值獲得包絡(luò)線存在的問題，以及已有的解決方法——基于高次(高于三次)樣條插值的EMD算法并考察了效果，表明高次樣條插值能提高EMD算法精度，但耗時(shí)增加；最后根據(jù)EMD算法的特點(diǎn)，提出了基于極值點(diǎn)均值的EMD算法，并對(duì)該算法的效果進(jìn)行了系統(tǒng)地研究，結(jié)果表明該算法優(yōu)于原有的EMD方法。 5.研究了

6、動(dòng)態(tài)數(shù)據(jù)挖掘中的時(shí)間序列相似性匹配問題。首先利用交叉覆蓋算法對(duì)序列進(jìn)行分類，進(jìn)而完成序列匹配；直接利用覆蓋算法進(jìn)行匹配雖然是有效的，可是有時(shí)存在兩個(gè)序列趨勢(shì)是相似的，但由于某幾維相差較大而沒有被歸為一類，增加了“拒識(shí)點(diǎn)”的個(gè)數(shù)。為了提高匹配的準(zhǔn)確性，提出了基于EMD和交叉覆蓋算法的序列匹配算法，實(shí)驗(yàn)證明該方法可以減少“拒識(shí)點(diǎn)”，提高匹配算法的準(zhǔn)確度。 6.研究了動(dòng)態(tài)數(shù)據(jù)挖掘中的聚類問題。由于參加聚類的序列往往維度較高，所以首先研

7、究了數(shù)據(jù)維度的約簡(jiǎn)問題。本章提出了基于EMD和自底向上(Bottom-Up)分段算法的維度約簡(jiǎn)方法，并把該維度約簡(jiǎn)方法和K-means算法相結(jié)合，有效完成了數(shù)據(jù)序列的聚類。 7.結(jié)合國(guó)家高技術(shù)研究發(fā)展計(jì)劃(863計(jì)劃)專題課題(2007AA04Z116)-“面向制造業(yè)售后服務(wù)的商務(wù)智能關(guān)鍵技術(shù)研究”，把第五章提出的基于EMD和交叉覆蓋算法的序列匹配算法用于個(gè)人信用的評(píng)估，即把客戶的信用歷史數(shù)據(jù)序列利用EMD方法提取趨勢(shì)后，再利用