交易序列數(shù)據(jù)挖掘研究.pdf

1、交易序列數(shù)據(jù)描述的是在各類(lèi)交易過(guò)程中商品或證券價(jià)格隨時(shí)間的變化規(guī)律，分析這些數(shù)據(jù)能為商家或投資者制定營(yíng)銷(xiāo)策略或選擇價(jià)值投資方法提供量化依據(jù)，由此交易序列數(shù)據(jù)挖掘技術(shù)成為當(dāng)前研究和應(yīng)用的熱點(diǎn)。
　　 交易序列數(shù)據(jù)挖掘的目的是識(shí)別商品或證券交易價(jià)格變化規(guī)律，主要任務(wù)有分類(lèi)、聚類(lèi)、關(guān)聯(lián)分析和異常檢測(cè)等，還可以進(jìn)行各種擴(kuò)展的數(shù)據(jù)分析與挖掘，如允許有時(shí)間間隔約束的關(guān)聯(lián)規(guī)則、數(shù)據(jù)有缺失值存在的模式分析等。
　　 目前，針對(duì)交易序列數(shù)

2、據(jù)的大量研究使用的是其他序列數(shù)據(jù)挖掘與分析方法，比如將其離散時(shí)間的序元序看作連續(xù)的、使用時(shí)間序列結(jié)構(gòu)化或非結(jié)構(gòu)化模型與各種復(fù)雜算法相結(jié)合的方法，又如忽略其數(shù)值型序元值、使用特征構(gòu)建成事件序列進(jìn)行頻繁模式挖掘方法；再如將其數(shù)值型的序元值進(jìn)行字符表示、使用字符序列模式查找的方法。這些研究方法存在以下兩方面問(wèn)題：一方面，沒(méi)有同時(shí)兼顧交易序列數(shù)據(jù)本身固有的離散時(shí)間序和數(shù)值型元素值兩大特性；另一方面，沒(méi)有利用可用的經(jīng)濟(jì)與金融領(lǐng)域知識(shí)。兼顧交易序列

3、本身原有特性并有效找到各種符合領(lǐng)域意義的頻繁相似模式，能使數(shù)據(jù)分析與挖掘結(jié)果更有效。
　　 本文從交易序列基本模式出發(fā)，定義了5種交易序列原子模式(包括：趨平模式、頭部模式、底部模式、增長(zhǎng)模式和下降模式)及其關(guān)聯(lián)關(guān)系，即交易序列復(fù)合模式，著重研究了交易序列模式挖掘、交易序列模式查詢與預(yù)測(cè)和基于交易序列模式的聚類(lèi)三方面問(wèn)題，主要研究成果如下：
　　 (1)針對(duì)交易序列模式挖掘問(wèn)題，在原子模式快速查找及其TOP K頻繁項(xiàng)挖掘

4、兩個(gè)算法的基礎(chǔ)上，提出了一種頻繁的交易序列復(fù)合模式挖掘算法。
　　 頻繁的交易序列復(fù)合模式是由多種滿足一定時(shí)間約束及其周期循環(huán)關(guān)系的交易原子模式頻繁集組成的，在此項(xiàng)挖掘任務(wù)中，由于候選原子模式空間是呈指數(shù)級(jí)增長(zhǎng)的，因而效率問(wèn)題成為一個(gè)瓶頸。
　　 首先，根據(jù)領(lǐng)域知識(shí)定義了5種交易序列原子模式，提出了一種伸縮距離函數(shù)的序列模式通用相似性度量及其趨勢(shì)融合和對(duì)稱(chēng)使用距離函數(shù)的計(jì)算方法，將“縮放”相似的4種交易序列原子模式(除趨

5、平模式)分別轉(zhuǎn)化為相似性無(wú)向圖進(jìn)行譜聚類(lèi)：然后，在以結(jié)果簇近似代替最大團(tuán)的基礎(chǔ)上，引入時(shí)間約束代替趨平模式找到由各種交易序列原子模式頻繁集構(gòu)成的頻繁復(fù)合模式。在真實(shí)股票交易序列集上，采用多種相似性計(jì)算方法比較得到算法準(zhǔn)確性，并且所求得的頻繁復(fù)合模式有較好的應(yīng)用解釋。
　　 (2)針對(duì)交易序列模式查詢問(wèn)題，提出了兩種有效的相似性查詢算法。
　　 在現(xiàn)實(shí)應(yīng)用中，交易序列有一種重要的相似性--“縮放”相似性，這是交易序列模式在

6、時(shí)間維度上的“彈性”拉長(zhǎng)或縮短但會(huì)保留在數(shù)值維度上整體變化趨勢(shì)的一種相似性。因而如何定義合理的相似性度量來(lái)捕捉這種相似性是一個(gè)需要解決的重要問(wèn)題。
　　 針對(duì)序列間的細(xì)微變化，先對(duì)待查詢的序列進(jìn)行單調(diào)區(qū)間的“融合”處理，然后根據(jù)各區(qū)間的長(zhǎng)度和幅度比例進(jìn)行序列模式的候選產(chǎn)生，最后使用伸縮距離函數(shù)作為相似性度量進(jìn)行計(jì)算并返回最后結(jié)果；針對(duì)交易序列的價(jià)格區(qū)間變化，先將所有序列進(jìn)行規(guī)范化，在改進(jìn)伸縮距離函數(shù)定義的基礎(chǔ)上進(jìn)行計(jì)算并得到查詢

7、結(jié)果。實(shí)驗(yàn)結(jié)果表明，“趨勢(shì)融合”和“價(jià)格融合”兩種相似性查詢算法都能找到在總體形狀上與給定序列模式“放大”或“縮小”的所有模式結(jié)果。
　　 (3)針對(duì)交易序列預(yù)測(cè)問(wèn)題，提出了一種有較高準(zhǔn)確率的序列模式趨勢(shì)預(yù)測(cè)算法。
　　 預(yù)測(cè)是根據(jù)給定交易序列數(shù)據(jù)集，對(duì)給定待查序列的后續(xù)時(shí)間進(jìn)行數(shù)值屬性上的估計(jì)。南于數(shù)據(jù)變化的復(fù)雜性，在交易序列中進(jìn)行趨勢(shì)預(yù)測(cè)比精確預(yù)測(cè)更有意義，因而提高對(duì)給定序列趨勢(shì)預(yù)測(cè)準(zhǔn)確度成為預(yù)測(cè)問(wèn)題的關(guān)鍵。

8、　　 基于“價(jià)格融合”的相似性查詢，本文使用Parzen窗密度和KNN的估計(jì)兩種方法分別證明了將查詢結(jié)果候選集的TOPk個(gè)結(jié)果的后續(xù)長(zhǎng)度為τ的模式加權(quán)平均，能近似替代全部查詢結(jié)果，進(jìn)而綜合出預(yù)測(cè)結(jié)果。在真實(shí)股票交易序列集上的實(shí)驗(yàn)結(jié)果表明，趨勢(shì)預(yù)測(cè)有較高的準(zhǔn)確率。
　　 (4)針對(duì)交易序列聚類(lèi)問(wèn)題，提出了一種考慮時(shí)限約束目標(biāo)函數(shù)的聚類(lèi)算法。
　　 交易序列進(jìn)行聚類(lèi)選擇何種對(duì)象進(jìn)行很關(guān)鍵。在一定時(shí)間范圍內(nèi)，總體呈增長(zhǎng)或下降

9、趨勢(shì)更能反映商品或證券的價(jià)格規(guī)律，因而從原始的交易序列中提取了這種反映局部信息的增長(zhǎng)或下降模式進(jìn)行特征創(chuàng)建并進(jìn)行聚類(lèi)的意義大于直接使用原始交易序列。
　　 首先，從商品或證券價(jià)格及其變化趨勢(shì)等角度研究了交易序列集的內(nèi)在結(jié)構(gòu)，定義了一種反映價(jià)格變化趨勢(shì)的增長(zhǎng)或下降模式及其錯(cuò)位組合距離和角度向量距離兩種遞進(jìn)的相似性度量，在此基礎(chǔ)上，設(shè)計(jì)了一個(gè)考慮時(shí)限約束的目標(biāo)函數(shù)進(jìn)行先劃分再層次合并的聚類(lèi)研究。實(shí)驗(yàn)結(jié)果表明，在時(shí)限約束的條件下，增長(zhǎng)