氣象領(lǐng)域事件挖掘相關(guān)問題的研究.pdf

1、數(shù)據(jù)挖掘是從海量數(shù)據(jù)中發(fā)現(xiàn)有價(jià)值的規(guī)律和信息的一門學(xué)科，結(jié)合了統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫、機(jī)器學(xué)習(xí)、優(yōu)化理論等各個(gè)領(lǐng)域的算法和知識(shí)。近年來，隨著信息化技術(shù)的高速發(fā)展，大量原始數(shù)據(jù)被采集，數(shù)據(jù)挖掘及其在各類交叉學(xué)科的應(yīng)用研究已經(jīng)越來越受到研究界以及企業(yè)界的重視。其中，空間數(shù)據(jù)與時(shí)間序列數(shù)據(jù)均為常見的數(shù)據(jù)類型，廣泛存在于地理信息系統(tǒng)，傳感器網(wǎng)絡(luò)，股票市場，和氣象領(lǐng)域等等。針對(duì)空間數(shù)據(jù)、時(shí)間序列數(shù)據(jù)的基礎(chǔ)算法研究，以及與其它學(xué)科領(lǐng)域相結(jié)合的應(yīng)用研究一直以

2、來都是數(shù)據(jù)挖掘的熱點(diǎn)問題。
　　氣象領(lǐng)域是數(shù)據(jù)挖掘技術(shù)應(yīng)用研究的一個(gè)新興的領(lǐng)域，而氣象事件挖掘是其中一個(gè)重點(diǎn)研究方向。氣象事件的挖掘研究可以為人們生產(chǎn)生活的各種行為決策提供及時(shí)且堅(jiān)實(shí)的數(shù)據(jù)支持，具有極其重要的現(xiàn)實(shí)意義。因此，本文以氣象領(lǐng)域?yàn)檠芯勘尘埃猿Ｒ姷臍庀髷?shù)據(jù)如時(shí)間序列、空間數(shù)據(jù)、時(shí)空數(shù)據(jù)等為研究的數(shù)據(jù)對(duì)象，就氣象事件挖掘的相關(guān)問題展開研究。具體來說，本文主要專注于空間數(shù)據(jù)聚類分析、時(shí)間序列符號(hào)化表示等基礎(chǔ)算法研究，并針對(duì)氣

3、象領(lǐng)域特定事件挖掘等具體需求做算法和框架的設(shè)計(jì)。本文主要的研究成果如下:
　　(1)提出了一個(gè)空間數(shù)據(jù)聚類分析算法Yupc。受自然界粒子在勢(shì)能場下相互吸引的動(dòng)態(tài)過程的啟發(fā)，本文提出一種全新的基于湯川勢(shì)的動(dòng)態(tài)聚類算法Yupc。該算法既不需要事先假設(shè)數(shù)據(jù)初始分布，也不需要用戶指定簇的個(gè)數(shù)，可以檢測(cè)出不同形狀、大小、密度、數(shù)量、以及分布的簇，反映出原始數(shù)據(jù)集本質(zhì)內(nèi)在結(jié)構(gòu)特點(diǎn)。同時(shí)，為了解決聚類算法的參數(shù)設(shè)置問題，本文還提出一個(gè)自動(dòng)搜尋最

4、佳參數(shù)的框架，以做到自動(dòng)聚類分析。在人造數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)表明，Yupc的聚類效果優(yōu)于現(xiàn)有算法，尤其擅于處理同時(shí)包含了多種簇的數(shù)據(jù)集。
　　(2)設(shè)計(jì)了一個(gè)時(shí)間序列符號(hào)化表示算法rSAX。時(shí)間序列符號(hào)化表示是處理高維時(shí)間序列的一種常用方法，可以在保留時(shí)間序列特征的前提下大大降低數(shù)據(jù)的維度，以便后續(xù)的分析挖掘。SAX是一個(gè)經(jīng)典的符號(hào)化表示算法，被廣泛用于時(shí)間序列分析的各個(gè)領(lǐng)域。但是SAX總是使用確定的分割點(diǎn)來映射時(shí)間序列，這

5、使得鄰近分割點(diǎn)的相似對(duì)象難以被合適的表達(dá)出來，還會(huì)影響TLB下界的緊度。為了解決這個(gè)問題，本文提出了一種基于隨機(jī)偏移的符號(hào)化表示算法rSAX。該算法通過隨機(jī)偏移算法生成“軟邊界”而非傳統(tǒng)算法的“硬邊界”，使得越為相似的對(duì)象點(diǎn)將有越高的概率被映射成同一個(gè)符號(hào)，進(jìn)而做到更好TLB界而無需加大表達(dá)粒度。同時(shí)，本文從理論證明了rSAX與經(jīng)典算法SAX相比，可以做到更好的映射效果和更緊的TLB界。最后，在真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證了rSAX的有效性和

6、效率。
　　(3)為氣象領(lǐng)域協(xié)同異常事件挖掘提出了一個(gè)挖掘框架。氣象領(lǐng)域的溫度序列是時(shí)間序列的一種。歷史多維溫度序列記錄了多年來各地氣溫隨時(shí)間變化的趨勢(shì)和細(xì)節(jié)，同時(shí)隱含了很多重要的事件信息。其中，協(xié)同異常(co-anomaly)事件便是重要的氣象現(xiàn)象之一，表現(xiàn)為相似異常模式同時(shí)刻發(fā)生在不同的溫度序列上。這類協(xié)同異常事件在理解氣象行業(yè)異常氣象行為以及自然災(zāi)害方面扮演了非常重要的角色。然而，由于溫度序列自身獨(dú)特性質(zhì)，自動(dòng)挖掘氣象領(lǐng)域協(xié)

7、同異常事件是一個(gè)尚待解決的問題。為此，本文提出一個(gè)全新的算法框架Sevent來從多維溫度序列中自動(dòng)檢測(cè)協(xié)同異常氣象事件。具體的思想如下，首先把原始溫度序列投影成符號(hào)式表達(dá);然后，通過統(tǒng)計(jì)顯著性檢驗(yàn)從中檢測(cè)協(xié)同異常模式;最后從協(xié)同異常模式中生成可覆蓋不同子維度以及不同子序列的協(xié)同異常事件。在真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果清楚地驗(yàn)證了Sevent的有效性。
　　(4)為氣象領(lǐng)域高溫?zé)崂耸录O(shè)計(jì)了一個(gè)基于時(shí)空聚類的挖掘算法。氣象領(lǐng)域的事件挖掘面

8、臨著各種各樣的氣象場景和需求。高溫?zé)崂吮闶瞧渲幸活愔匾氖录?。?duì)時(shí)空溫度數(shù)據(jù)進(jìn)行自動(dòng)高溫事件挖掘，可以幫助氣象專家們對(duì)歷史上各起高溫?zé)崂烁采w的時(shí)間和空間范圍做界定，從而對(duì)高溫?zé)崂说钠鹨蚣把莼鲞M(jìn)一步的研究。事件時(shí)空區(qū)域挖掘同時(shí)也是數(shù)據(jù)挖掘領(lǐng)域一類重要的問題，在各種自然、社會(huì)學(xué)科中有著廣泛的應(yīng)用。傳統(tǒng)的事件時(shí)空區(qū)域挖掘算法多基于時(shí)空聚類分析，當(dāng)事件覆蓋的區(qū)域不規(guī)則，且隨著時(shí)間推移而呈現(xiàn)出各種演變時(shí)難以準(zhǔn)確對(duì)其進(jìn)行捕獲和挖掘;同時(shí)各項(xiàng)參數(shù)的