H-KTT聚類算法及其在大規(guī)模AMI數據分析中的應用.pdf

1、隨著時代的發(fā)展，大數據問題已經普遍存在于各個研究領域中。而聚類技術的應用，則可以根據相似度對數據樣本進行歸類，從而使得數據的分析工作更為便捷，更好的提取并利用數據中的隱含信息。近年來，高性能聚類技術的研發(fā)一直受到外界的高度重視。作為智能電網領域中眾多大數據問題之一，高級量測體系(AMI)負荷樣本的聚類工作對于系統(tǒng)中的多種實際應用均具有極為重大的意義。然而，由于數據量過大，多種各具特色的經典聚類算法在處理大數據問題時均效率低下，甚至難以實

2、現。
　　同樣作為經典聚類算法中的一種，K-means算法由于其簡單的原理而具有較快的收斂速度，也因此在大數據問題中被廣泛采用。但在傳統(tǒng)K-means算法中，聚類結果對在數據集中隨機選取的初始中心點十分敏感，且最終僅能夠得到單一的局部最優(yōu)解。上述兩問題均會隨著數據集規(guī)模的擴大而越發(fā)嚴重，并導致不甚理想的聚類效果。
　　為解決上述問題，以改善傳統(tǒng)K-means算法在處理大規(guī)模數據集時的聚類質量，本文完成了以下工作。首先，為了給

3、傳統(tǒng)K-means算法提供更高質量的初始中心點，基于對原始數據集結構的簡化，提出了階層式K-means(Hierarchical K-means，即H-K-means)算法。其次，為了進一步改進H-K-means算法的聚類效果，將原K-means算法聚類問題轉化為基于目標函數的非線性有約束優(yōu)化問題，并利用TRUST-TECH優(yōu)化技術進行求解，實現H-KTT算法。其中，TRUST-TECH技術是一種高性能非線性優(yōu)化技術，針對給定的非線性優(yōu)

4、化問題，它能夠有效的擺脫某一局部最優(yōu)解的束縛，跳出該局部解所在區(qū)域，經過逐層搜索，最終得到可行域內其他多個局部最優(yōu)解（乃至全局最優(yōu)解），進而顯著改善優(yōu)化結果的質量。
　　本文將H-K-means算法與H-KTT算法應用于來自美國的大規(guī)模AMI負荷數據集，以對其效果進行測試。此外，還引入了多種該領域內較為通用的聚類算法進行對比，使所得結果更具有說服力。實際結果表明，H-K-means算法在聚類效果評價指標、實際應用以及計算效率三方面