基于經驗模態(tài)分解及動態(tài)數據挖掘的商務數據分析方法研究.pdf

1、隨著計算機技術的發(fā)展和普及，企業(yè)生成、收集、存儲及處理數據的能力大大提高，數據量與日俱增。大量豐富的數據使得傳統的數據分析方式陷入了困境，數據挖掘技術應運而生，它是一個新興的邊緣學科，涉及機器學習、模式識別、數據庫、統計、人工智能等多門學科。商務數據挖掘是數據挖掘中的一個重要研究方面，目前關于商務數據中的靜態(tài)數據分析模型已經慢慢變得成熟，但是經驗模態(tài)分解算法及動態(tài)數據挖掘在商務數據分析中的應用研究，仍處在起步階段。 經驗模態(tài)分解

2、(Empirical Mode Decomposition，EMD)被認為是不同于以傅里葉變換為基礎的線性和穩(wěn)態(tài)譜分析方法的一種時頻分析方法。本文以基于經驗模態(tài)分解方法及動態(tài)數據挖掘的商務數據分析為目標，研究了經驗模態(tài)分解方法的基本原理和算法思想；針對其端點效應等不足，提出了新的數據延拓技術；針對EMD算法的精度和速度上的不足，提出了相應的改進措施；并研究了EMD分解、構造性神經網絡覆蓋算法以及K-means聚類等方法各自獨特的特點，以

3、及這些方法與其他理論的結合點，為動態(tài)數據挖掘中遇到的一些問題提供新的解決方案，并把它們應用在商務數據的分析中。主要工作包括： 1.論述了本論文的研究背景；綜述了時頻分析方法的發(fā)展；介紹了EMD方法及其國內外研究現狀，以及動態(tài)數據挖掘的研究內容；最后，闡述了本文的研究內容、總體框架和創(chuàng)新之處。 2.介紹了基于EMD時頻分析方法的一些基本概念；闡述了基于EMD的希爾伯特變換的基本原理和算法；在此基礎上，用基于EMD的時頻分析

4、方法對仿真信號進行了分析驗證，結果表明把該方法引入非線性非平穩(wěn)序列的分析是理想的。 3.介紹了EMD算法端點效應的機理；然后系統地研究了基于神經網絡預測的數據序列延拓技術和鏡像延拓技術的特點及性能；最后，對各種延拓技術進行了比較研究，分析了各種延拓技術的優(yōu)缺點，并提出了基于多項式擬合的數據延拓技術。 4.從提高速度與精度兩方面著手，對EMD算法進行了系統研究。首先研究埃爾米特Hermite插值和三次樣條插值哪個更適合獲取

5、序列的上、下包絡線，結果表明三次樣條插值效果較好；接著研究利用三次樣條插值獲得序列數據包絡線的效果，結果表明該方法是理想的；然后闡述了樣條插值獲得包絡線存在的問題，以及已有的解決方法——基于高次(高于三次)樣條插值的EMD算法并考察了效果，表明高次樣條插值能提高EMD算法精度，但耗時增加；最后根據EMD算法的特點，提出了基于極值點均值的EMD算法，并對該算法的效果進行了系統地研究，結果表明該算法優(yōu)于原有的EMD方法。 5.研究了

6、動態(tài)數據挖掘中的時間序列相似性匹配問題。首先利用交叉覆蓋算法對序列進行分類，進而完成序列匹配；直接利用覆蓋算法進行匹配雖然是有效的，可是有時存在兩個序列趨勢是相似的，但由于某幾維相差較大而沒有被歸為一類，增加了“拒識點”的個數。為了提高匹配的準確性，提出了基于EMD和交叉覆蓋算法的序列匹配算法，實驗證明該方法可以減少“拒識點”，提高匹配算法的準確度。 6.研究了動態(tài)數據挖掘中的聚類問題。由于參加聚類的序列往往維度較高，所以首先研

7、究了數據維度的約簡問題。本章提出了基于EMD和自底向上(Bottom-Up)分段算法的維度約簡方法，并把該維度約簡方法和K-means算法相結合，有效完成了數據序列的聚類。 7.結合國家高技術研究發(fā)展計劃(863計劃)專題課題(2007AA04Z116)-“面向制造業(yè)售后服務的商務智能關鍵技術研究”，把第五章提出的基于EMD和交叉覆蓋算法的序列匹配算法用于個人信用的評估，即把客戶的信用歷史數據序列利用EMD方法提取趨勢后，再利用