多源環(huán)境中數(shù)據(jù)預(yù)處理與模式挖掘的研究.pdf

1、隨著數(shù)據(jù)庫、網(wǎng)絡(luò)以及各種信息技術(shù)的迅猛發(fā)展，許多實際應(yīng)用領(lǐng)域如:傳感器網(wǎng)絡(luò)、商業(yè)交易、社會媒體分析等數(shù)據(jù)的描述信息變得越來越多，產(chǎn)生了一種海量、多源和異構(gòu)表現(xiàn)形式的數(shù)據(jù)。這些多源異構(gòu)數(shù)據(jù)蘊含著豐富的知識和有用的信息。然而，由于多數(shù)據(jù)源具有異構(gòu)性、自治性、復(fù)雜性、不一致性等特征，使得傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)面臨著巨大的挑戰(zhàn)。因此，開展多數(shù)據(jù)源環(huán)境`標簽傳播、數(shù)據(jù)源質(zhì)量評估、模式挖掘等知識挖掘研究具有重要的研究與應(yīng)用價值。本文主要研究內(nèi)容如下:<

2、br>　　1)由于數(shù)據(jù)源之間結(jié)構(gòu)的不一致性，很難將多個數(shù)據(jù)源直接整合成單一數(shù)據(jù)源進行學(xué)習(xí)。在充分利用有標簽數(shù)據(jù)源的標簽信息與無標簽數(shù)據(jù)源的內(nèi)部結(jié)構(gòu)信息基礎(chǔ)上，分別提出了全局一致化和局部一致化兩種標簽傳播方法，利用此兩種方法使無標簽數(shù)據(jù)源的數(shù)據(jù)樣本具有類標簽。再次基礎(chǔ)上，構(gòu)建多數(shù)據(jù)源的集成學(xué)習(xí)方法，從分類精度、魯棒性和擴展性等三方面驗證了所提算法的有效性。另外，實驗結(jié)果表明當(dāng)無標簽數(shù)據(jù)源較多時，局部一致化的標簽傳播方法效果優(yōu)于全局一致化的

3、標簽傳播方法。
　　2)面對多數(shù)據(jù)源進行學(xué)習(xí)時，多數(shù)據(jù)源中可能存在無關(guān)的或冗余的數(shù)據(jù)源。從數(shù)據(jù)源的重要度和數(shù)據(jù)源間的冗余度出發(fā)，設(shè)計了一種基于最大重要度最小冗余度的數(shù)據(jù)源質(zhì)量評估與選擇算法。其中，重要度表示一個數(shù)據(jù)源對分類的貢獻程度，冗余度表示不同數(shù)據(jù)源之間蘊含信息的重疊程度。最后，通過選擇前p％個數(shù)據(jù)源進行多數(shù)據(jù)源的集成學(xué)習(xí)。實驗結(jié)果表明該度量方法能有效地選擇與任務(wù)相關(guān)的數(shù)據(jù)源。
　　3)商場隨著銷售量的日益增長，存儲了大