社會基礎(chǔ)數(shù)據(jù)分析挖掘系統(tǒng)關(guān)鍵技術(shù)的研究與實現(xiàn).pdf

1、數(shù)據(jù)挖掘是解決海量數(shù)據(jù)模式識別的重要途徑，數(shù)據(jù)挖掘本身就是面向應(yīng)用的技術(shù)，當前信息社會各行各業(yè)的決策者們對于隱藏于海量數(shù)據(jù)中的信息前所未有的渴求，這兩者的結(jié)合越來越普遍，帶來的效益越來越明顯?？v觀國內(nèi)外數(shù)據(jù)挖掘技術(shù)在國家與公共安全領(lǐng)域的應(yīng)用并不多，產(chǎn)生實際結(jié)果并且能推動相關(guān)工作開展的研究比較有限。本文提出了“松散關(guān)系”方法并與關(guān)聯(lián)規(guī)則挖掘結(jié)合起來，設(shè)計實現(xiàn)了基礎(chǔ)數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘系統(tǒng)，將實際工作需求與數(shù)據(jù)挖掘技術(shù)結(jié)合起來，在海量基礎(chǔ)數(shù)據(jù)中

2、進行了探索，為能夠利用挖掘來解決實際業(yè)務(wù)問題進行了有效嘗試，在本行業(yè)內(nèi)社會基礎(chǔ)數(shù)據(jù)深層利用的理論與實踐方面都具有十分重要的意義。
　　本文根據(jù)調(diào)查工作實際需求，提出了利用定義“松散關(guān)系”來度量基礎(chǔ)數(shù)據(jù)間的關(guān)系的方法，設(shè)定了具有異常特點的閾值，進一步闡述了“松散關(guān)系”與業(yè)務(wù)工作的關(guān)系，提出了運用關(guān)聯(lián)規(guī)則方法挖掘隱含在基礎(chǔ)數(shù)據(jù)中的具有松散關(guān)系性質(zhì)的人群。
　　設(shè)計并實現(xiàn)了基礎(chǔ)數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘系統(tǒng)，該系統(tǒng)主要分為三個模塊：數(shù)據(jù)抽取

3、和預(yù)處理模塊、關(guān)聯(lián)規(guī)則挖掘模塊和松散關(guān)系判定模塊。數(shù)據(jù)抽取和預(yù)處理模塊的功能主要是提取和轉(zhuǎn)換挖掘任務(wù)需要的數(shù)據(jù)；關(guān)聯(lián)規(guī)則挖掘模塊完成對數(shù)據(jù)的挖掘并對結(jié)果進行一定的組織；業(yè)務(wù)用戶通過判定模塊對挖掘結(jié)果的有效性及可用性進行判定。
　　基礎(chǔ)數(shù)據(jù)種類龐雜，數(shù)量巨大，針對具體業(yè)務(wù)問題的挖掘效率面臨著嚴峻考驗。本文根據(jù)挖掘任務(wù)特點，對Apriori挖掘方法進行了一定改進，直接在每條事務(wù)內(nèi)進行自連接，形成候選項集，有效減少了無效候選項集的生成，