動車組大數(shù)據(jù)清洗關鍵技術(shù)研究與實現(xiàn).pdf

1、近年來，隨著我國高速鐵路動車組的大規(guī)模投入使用，動車組各種監(jiān)測數(shù)據(jù)呈現(xiàn)爆炸式增長。同時，動車組閘片、車輪、轉(zhuǎn)向架等主要部件產(chǎn)生的工作狀態(tài)數(shù)據(jù)是動車組故障診斷、壽命預測、知識推理等工作的基礎，對整個鐵路的信息化發(fā)展起著舉足輕重的作用。但是，數(shù)據(jù)質(zhì)量問題并沒有得到應有的重視，觀察監(jiān)測到的動車組數(shù)據(jù)發(fā)現(xiàn)，其中存在著數(shù)據(jù)不完整、信息冗余、含有非法數(shù)據(jù)等質(zhì)量問題，使得基于動車組數(shù)據(jù)分析的工作產(chǎn)生錯誤的分析結(jié)果，影響了信息服務的質(zhì)量，因此，對動車組

2、數(shù)據(jù)進行清洗具有一定的理論和現(xiàn)實意義。
　　本文主要研究動車組數(shù)據(jù)中含有非法數(shù)據(jù)，即離群點的情況。由于傳統(tǒng)的清洗算法在處理大數(shù)據(jù)時性能較差，因此本文引入了Hadoop分布式計算框架，該框架的Map/Reduce編程模型能夠與本文的算法完美結(jié)合。針對動車組數(shù)據(jù)量大、維數(shù)較多和數(shù)據(jù)類型多樣等特點，提出了基于網(wǎng)格的LOF離群點檢測算法。由于數(shù)據(jù)集中的大部分數(shù)據(jù)不是離群點，因此對整個數(shù)據(jù)集進行離群點檢測是沒有必要的，而基于網(wǎng)格的LOF離群

3、點檢測算法能夠先刪除一部分不包含離群點的數(shù)據(jù)，即進行網(wǎng)格剪枝，再對剩余的數(shù)據(jù)集進行離群點檢測，大大減小了算法的時間復雜度。本文針對基于網(wǎng)格的LOF離群點檢測算法提出了如下改進:首先，針對網(wǎng)格剪枝中網(wǎng)格密度定義的不嚴謹性，提出了聚類半徑的概念，通過這個改進能夠避免漏檢離群點，大大提高檢測精度;其次，針對LOF算法不能與MapReduce編程模型很好結(jié)合的情況，提出了網(wǎng)格編號的概念，通過網(wǎng)格編號，把整個數(shù)據(jù)集劃分為若干個被標記的小數(shù)據(jù)集，使