基于Hadoop的民航高價值旅客發(fā)現(xiàn)方法研究.pdf

1、隨著民航信息化程度日益加深，各航空公司的訂票系統(tǒng)中都積累了大量的旅客訂座記錄（Passenger Name Record, PNR）數(shù)據(jù)信息。在常旅客VIP會員制度不能對旅客出行形成有效吸引力的情況下，如何運用非常旅客的PNR數(shù)據(jù)識別高價值旅客，是航空公司亟需解決的問題。本文主要研究基于Hadoop的民航高價值旅客發(fā)現(xiàn)方法及其實際應(yīng)用，對航空公司利用PNR數(shù)據(jù)發(fā)現(xiàn)高價值旅客，并制定有效的戰(zhàn)略決策提供支持。
　　對于海量的PNR數(shù)據(jù)

2、集，常規(guī)的處理方法難以處理。本文提出將多臺計算機進行集群，搭建Hadoop分布式并行化處理平臺，利用Hadoop分布式文件系統(tǒng)（Hadoop Distributed File System, HDFS）儲存數(shù)據(jù)，并采用Map/Reduce數(shù)據(jù)處理模型對數(shù)據(jù)集進行處理。實驗結(jié)果表明，Hadoop平臺對海量的PNR數(shù)據(jù)集的處理快速有效。
　　針對K-Means聚類算法受孤立數(shù)據(jù)對象影響較大，容易陷入局部最優(yōu)解等問題。本文提出優(yōu)化K-M

3、eans聚類算法，在Hadoop平臺上并行計算數(shù)據(jù)集中所有數(shù)據(jù)對象間的歐式距離，并統(tǒng)計距離和，排除較為孤立的數(shù)據(jù)對象，優(yōu)化初始中心點的選擇。實驗結(jié)果表明，優(yōu)化的K-Means聚類算法能夠有效排除較為孤立的數(shù)據(jù)對象，聚類結(jié)果更接近實際數(shù)據(jù)分布。
　　綜上，本文提出一種基于Hadoop的民航高價值旅客發(fā)現(xiàn)方法。首先，利用Hadoop平臺，對PNR數(shù)據(jù)集進行快速處理。然后，提出改進的RFD(Recency Frequency Disco