移動(dòng)互聯(lián)網(wǎng)網(wǎng)絡(luò)側(cè)數(shù)據(jù)預(yù)處理技術(shù)的研究和應(yīng)用.pdf

1、移動(dòng)互聯(lián)網(wǎng)和大數(shù)據(jù)是近些年來學(xué)術(shù)界和工業(yè)界研究的熱點(diǎn)問題，電信運(yùn)營商在向移動(dòng)互聯(lián)網(wǎng)用戶提供服務(wù)的同時(shí)，產(chǎn)生了海量的移動(dòng)互聯(lián)網(wǎng)網(wǎng)絡(luò)側(cè)數(shù)據(jù)。如何從這些海量數(shù)據(jù)中快速、準(zhǔn)確、高效地提取價(jià)值，是電信運(yùn)營商和學(xué)者們關(guān)注的核心問題。數(shù)據(jù)挖掘是從這些大數(shù)據(jù)提取價(jià)值的有效方法，數(shù)據(jù)挖掘的算法和模型已經(jīng)得到了深入的研究和廣泛的應(yīng)用。
　　數(shù)據(jù)預(yù)處理是數(shù)據(jù)挖掘中的重要步驟，它為數(shù)據(jù)挖掘模型提供干凈、規(guī)范、適合的模型輸入，并提升數(shù)據(jù)挖掘模型的性能和效率

2、。然而，在實(shí)際數(shù)據(jù)挖掘應(yīng)用中，數(shù)據(jù)的預(yù)處理工作通常在數(shù)據(jù)分析工作中占很大比重的工作量，特別對(duì)于時(shí)間序列這類復(fù)雜數(shù)據(jù)，預(yù)處理甚至?xí)嫉桨顺梢陨系墓ぷ髁浚芯亢蜆?gòu)建自動(dòng)化的數(shù)據(jù)預(yù)處理系統(tǒng)是提高工作效率的必要途徑。
　　構(gòu)建自動(dòng)化的數(shù)據(jù)預(yù)處理系統(tǒng)的難點(diǎn)包括以下三個(gè)方面：如何自動(dòng)選擇預(yù)處理算法和參數(shù)、如何自動(dòng)化進(jìn)行預(yù)處理模型的重訓(xùn)練以及如何定量評(píng)價(jià)數(shù)據(jù)預(yù)處理的效果。其中自動(dòng)化的預(yù)處理算法組合策略是實(shí)現(xiàn)自動(dòng)化預(yù)處理系統(tǒng)的必要條件，因?yàn)閷?shí)際數(shù)

3、據(jù)預(yù)處理任務(wù)必須過過若干預(yù)處理組件同時(shí)完成。本文提出了一種基于啟發(fā)式搜索的自動(dòng)化算法組合策略。
　　本文的研究?jī)?nèi)容主要分為三個(gè)方面，首先，研究和分析了多種數(shù)據(jù)預(yù)處理方法，并構(gòu)建了針對(duì)移動(dòng)互聯(lián)網(wǎng)網(wǎng)絡(luò)側(cè)數(shù)據(jù)的數(shù)據(jù)預(yù)處理系統(tǒng)。其次，針對(duì)移動(dòng)互聯(lián)網(wǎng)網(wǎng)絡(luò)側(cè)數(shù)據(jù)這種時(shí)間序列數(shù)據(jù)，本文提出了一種數(shù)據(jù)預(yù)處理流程，能有效針對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行預(yù)處理工作。最后，本文提出了一種基于啟發(fā)式搜索的自動(dòng)化的數(shù)據(jù)預(yù)處理組合策略，能夠在給定的數(shù)據(jù)處理組件集合中選擇