不確定數(shù)據(jù)Topk高期望權(quán)香項集挖掘研究.pdf

1、隨著科技日新月異的進步，各種各樣的數(shù)據(jù)充斥著生產(chǎn)生活的各個領(lǐng)域，如何有效地獲取數(shù)據(jù)中的精華并運用到各行各業(yè)中去，成為科研人員關(guān)注的焦點?；谶@一實際需求，數(shù)據(jù)挖掘技術(shù)應(yīng)運而生。關(guān)聯(lián)規(guī)則挖掘作為數(shù)據(jù)挖掘領(lǐng)域的重要分支也一直受到科研人員的重視。通過生成關(guān)聯(lián)規(guī)則獲得項集之間隱藏的關(guān)聯(lián)，對于決策的提出有十分有效的指導意義。
　　頻繁項集的獲取是生成關(guān)聯(lián)規(guī)則最關(guān)鍵的步驟，針對頻繁項集挖掘的科研工作主要從兩個方面展開:應(yīng)用擴展和算法效率提升。

2、前者發(fā)展出了最大頻繁項集，高效益項集，概率頻繁項集等等;后者主要是針對各類頻繁項集的挖掘算法提出時間空間上的改進。
　　本文著眼于頻繁項集挖掘，從傳統(tǒng)數(shù)據(jù)到不確定數(shù)據(jù)以及數(shù)據(jù)流，詳細回顧了經(jīng)典的挖掘算法及其相應(yīng)改進方法。在深入了解與學習這些科研成果的同時，發(fā)現(xiàn)已有的不確定數(shù)據(jù)挖掘算法雖然考慮了項目的出現(xiàn)概率，但是忽略了項目本身重要程度，導致出現(xiàn)概率比小，但是含有重要項目的項集被舍棄，可能使挖掘結(jié)果丟失重要信息。另外考慮到頻繁項集挖

3、掘時閾值選取的實際困難，本文從應(yīng)用擴展的角度出發(fā)，在概率頻繁項集的基礎(chǔ)上，提出了高期望權(quán)重項集(HEWIs)的Topk挖掘，有效地解決了這兩個問題。具體的內(nèi)容有:
　　(1)結(jié)合不確定數(shù)據(jù)的頻繁項集挖掘，給出了Topk HEWIs挖掘的概念與意義，并在經(jīng)典概率頻繁項集挖掘算法MBP和UF-Growth的基礎(chǔ)上，提出了針對Topk HEWIs挖掘的算法，TKWMB和TKWUG。兩個算法各自代表一類算法，從層次遞進和模式增長兩種挖掘方

4、向出發(fā)，實現(xiàn)了Topk HEWIs的挖掘。本文通過在多個數(shù)據(jù)集上運行兩種算法，對比了算法的效率差異。實驗表明TKWUG算法在各類數(shù)據(jù)集上的運行都比較穩(wěn)定，隨著k選取值的改變，運行時間呈正比變化，且在稀疏集上運行比較高效;TKWMB算法隨k值變化起伏比較劇烈，在稀疏集上雖然運行速度快，但是卻容易內(nèi)存溢出。
　　(2)考慮到近年數(shù)據(jù)流的大趨勢，本文選取平穩(wěn)性較好的TKWUG算法擴展出TWUS完成了數(shù)據(jù)流的Topk HEWIs挖掘。本文