基于軟集合的不完備不一致數(shù)據(jù)分析及決策方法研究.pdf

1、大數(shù)據(jù)時(shí)代下，雖然數(shù)據(jù)量巨大，但是大量有價(jià)值的信息卻很少被挖掘出來加以利用。數(shù)據(jù)量的增加并不會(huì)給企業(yè)帶來利益，只有對數(shù)據(jù)進(jìn)行有效適當(dāng)?shù)姆治?，對潛藏在?shù)據(jù)內(nèi)部的規(guī)律和知識(shí)進(jìn)行挖掘并加以利用，才能發(fā)揮數(shù)據(jù)的真正作用。大數(shù)據(jù)具有規(guī)模性（Volume），多樣性（Variety），高速性（Velocity）和低價(jià)值性（Value）的4V特征。其中，多樣性和低價(jià)值性的特點(diǎn)會(huì)導(dǎo)致數(shù)據(jù)集更加容易出現(xiàn)質(zhì)量問題。不完備和不一致是兩種常見的質(zhì)量問題，而大數(shù)據(jù)

2、規(guī)模巨大，結(jié)構(gòu)復(fù)雜的特點(diǎn)，更加加劇了數(shù)據(jù)不完備和不一致的程度?；谝陨显?，數(shù)據(jù)分析技術(shù)面臨前所未有的挑戰(zhàn)。傳統(tǒng)的分析技術(shù)對于數(shù)據(jù)質(zhì)量較為敏感，在分析具有不完備和不一致數(shù)據(jù)的時(shí)候不能得到可靠結(jié)果；同時(shí)由于分析手段、分析能力限制，無法實(shí)時(shí)快速的分析數(shù)據(jù)量過大、類型復(fù)雜的數(shù)據(jù)。因此，迫切需要新的數(shù)據(jù)分析方法，可以對不完備不一致數(shù)據(jù)進(jìn)行快速有效的分析，發(fā)現(xiàn)有價(jià)值的知識(shí)或信息。
　　軟集合是一種新的處理不確定問題的數(shù)學(xué)工具，可以克服傳統(tǒng)方

3、法參數(shù)化工具不足的缺點(diǎn)。因此在分析不確定信息的兩個(gè)重要表現(xiàn)形式——不完備和不一致數(shù)據(jù)上具有較大的優(yōu)勢。另外，由于軟集合具有不同于傳統(tǒng)方法的一些特點(diǎn)，使其在大數(shù)據(jù)分析中具有巨大潛能。首先，軟集合理論對分析對象的類型以及描述對象的形式?jīng)]有限制，這些對象可以是結(jié)構(gòu)化數(shù)據(jù)，也可以是半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)；可以是確定的數(shù)據(jù)也可以是不確定的低價(jià)值數(shù)據(jù)。其次，軟集合可以直接建立近似模型并求近似解，而不用像傳統(tǒng)分析方法需要建立精確模型求解精確解，當(dāng)無法

4、求得精確解時(shí)再通過近似解替代精確解。所以軟集合比傳統(tǒng)方法具有更好的魯棒性和更低的時(shí)間空間復(fù)雜度。因此，本文基于軟集合及其擴(kuò)展理論提出了不完備和不一致數(shù)據(jù)分析方法，并著重關(guān)注了數(shù)據(jù)分析中的分類決策問題，這些方法不僅擴(kuò)展了軟集合理論的應(yīng)用范圍，而且豐富了不完備不一致數(shù)據(jù)分析方法，對大數(shù)據(jù)環(huán)境下具體數(shù)據(jù)分析技術(shù)也有一定借鑒意義。
　　本文首先闡述了研究背景和意義，分析了大數(shù)據(jù)環(huán)境下不完備不一致數(shù)據(jù)的來源，在對不完備和不一致數(shù)據(jù)分析方法的

5、相關(guān)文獻(xiàn)的整理，詳細(xì)的理論綜述基礎(chǔ)上，提出了基于軟集合的不完備和不一致數(shù)據(jù)分析及決策方法。本文主要進(jìn)行了以下幾個(gè)方面的研究：
　?、籴槍σ延械幕谲浖系牟煌陚鋽?shù)據(jù)分析方法存在的計(jì)算復(fù)雜和分析結(jié)果不可靠的缺點(diǎn)，提出了新的數(shù)據(jù)分析技術(shù)——占優(yōu)方法。該方法采取的是直接分析策略，可以無需對未知數(shù)據(jù)進(jìn)行填充，直接對原始數(shù)據(jù)集進(jìn)行分析并得到?jīng)Q策結(jié)果。通過將占優(yōu)方法與已有的基于軟集合的不完備數(shù)據(jù)分析方法進(jìn)行對比分析，結(jié)果表明該方法避免了已有方

6、法在同一參數(shù)下存在大量未知數(shù)據(jù)時(shí)，決策結(jié)果不可靠的缺點(diǎn)。另外，從決策結(jié)果可以看出，占優(yōu)方法比已有的基于軟集合的分析方法更加符合軟集合的定義。
　?、诖髷?shù)據(jù)中有眾多不確定和描述性數(shù)據(jù)，這些數(shù)據(jù)無法用確定的數(shù)值型數(shù)據(jù)描述，只能引入模糊數(shù)據(jù)，因此有必要對不完備模糊數(shù)據(jù)的分析方法進(jìn)行研究。為了克服已有基于模糊軟集合的不完備數(shù)據(jù)分析方法的限制，本文提出證據(jù)-模糊軟集合的概念。另外還定義兩個(gè)證據(jù)-模糊軟集合的FUSE運(yùn)算，研究了證據(jù)-模糊軟集

7、合同不完備模糊軟集合的關(guān)系。根據(jù)證據(jù)-模糊軟集合和證據(jù)理論的定義和相關(guān)運(yùn)算，可以對不完備模糊數(shù)據(jù)進(jìn)行分析，并提出不完備模糊數(shù)據(jù)集下的決策算法。該算法無需對未知數(shù)據(jù)進(jìn)行填充，而是在決策層面對不完備模糊數(shù)據(jù)進(jìn)行融合后，直接得到?jīng)Q策結(jié)果。最后，將該方法應(yīng)用于一個(gè)互聯(lián)網(wǎng)環(huán)境下的決策問題的算例中，證明該方法的有效性。
　?、蹟?shù)據(jù)來源多樣決定了大數(shù)據(jù)中廣泛存在不一致數(shù)據(jù)。針對已有不一致數(shù)據(jù)分析方法存在計(jì)算較為復(fù)雜和低效的不足，本文從邏輯推理的

8、角度出發(fā)，將次協(xié)調(diào)推理引入軟集合，定義了次協(xié)調(diào)軟集合概念和相關(guān)運(yùn)算。次協(xié)調(diào)軟集合擴(kuò)展了經(jīng)典軟集合參數(shù)表達(dá)能力，其參數(shù)除了可以表達(dá)經(jīng)典軟集中“近似具有”、“近似不具有”的參數(shù)含義外，還可以表達(dá)參數(shù)值“未知”和“不一致”。因此，次協(xié)調(diào)軟集合可以同時(shí)分析具有不完備和不一致特征的數(shù)據(jù)集。根據(jù)次協(xié)調(diào)軟集合的定義以及相關(guān)運(yùn)算，本文提出了次協(xié)調(diào)軟決策系統(tǒng)及決策算法，運(yùn)用該算法可以通過對不完備不一致數(shù)據(jù)進(jìn)行分析并得到分類決策結(jié)果。為了說明該算法的有效性