基于聚類分析的專家分類方法研究.pdf

1、隨著大數(shù)據(jù)時(shí)代的發(fā)展，數(shù)據(jù)挖掘技術(shù)受到了學(xué)術(shù)界以及工業(yè)界的青睞和廣泛應(yīng)用。本文來(lái)源于東南大學(xué)米谷大數(shù)據(jù)聯(lián)合實(shí)驗(yàn)室，面向產(chǎn)學(xué)研的專家推薦平臺(tái)的項(xiàng)目，以聚類分析相關(guān)技術(shù)為核心，為平臺(tái)提供后臺(tái)的領(lǐng)域?qū)＜覕?shù)據(jù)支持。
　　順應(yīng)計(jì)算機(jī)領(lǐng)域的發(fā)展熱潮以及相關(guān)高新產(chǎn)業(yè)的聚集，本文選擇了計(jì)算機(jī)學(xué)科的領(lǐng)域?qū)＜疫M(jìn)行研究。同時(shí)，由于專家數(shù)據(jù)源的多樣性，無(wú)法實(shí)現(xiàn)自動(dòng)化過(guò)程，故本文的數(shù)據(jù)源選擇萬(wàn)方中計(jì)算機(jī)學(xué)科1990年至2016年的計(jì)算機(jī)學(xué)科學(xué)生學(xué)位論文12

2、5499篇。從學(xué)生的論文研究角度出發(fā)，推測(cè)其導(dǎo)師，即本文中的專家的研究方向。從大量數(shù)據(jù)中挖掘出所需的專家研究領(lǐng)域信息，對(duì)其進(jìn)行分類。由于專家的研究方向無(wú)法預(yù)知，故本文的技術(shù)核心為無(wú)監(jiān)督學(xué)習(xí)中的聚類分析，通過(guò)計(jì)算文本相似度進(jìn)行劃分。本文中分類與聚類概念等同，文本相似度代表關(guān)鍵詞向量的相似度。
　　本文的研究工作主要包括四個(gè)方面:
　　1)數(shù)據(jù)的自動(dòng)化獲取。由于萬(wàn)方數(shù)據(jù)庫(kù)實(shí)時(shí)更新，且格式統(tǒng)一，本文采用聚焦網(wǎng)絡(luò)爬蟲(chóng)對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)的

3、自動(dòng)化爬取。主要解決的是網(wǎng)站限制訪問(wèn)以及cookie二次訪問(wèn)的問(wèn)題，保持無(wú)須人工干涉的持續(xù)數(shù)據(jù)獲取。
　　2)數(shù)據(jù)的預(yù)處理工作。本文的文本數(shù)據(jù)使用向量空間模型，且原始數(shù)據(jù)量以及數(shù)據(jù)維度都在十萬(wàn)量級(jí)，故數(shù)據(jù)預(yù)處理工作的核心是對(duì)高維稀疏數(shù)據(jù)的降維處理。本文采用了特征抽取和特征選擇實(shí)現(xiàn)數(shù)據(jù)的降維工作。特征選擇引入論文標(biāo)題字段數(shù)據(jù)，從機(jī)器學(xué)習(xí)與統(tǒng)計(jì)分析的角度，提出了結(jié)合CRF分詞與全局TF-IDF技術(shù)的特征選擇方法;特征抽取則在特征選擇的

4、基礎(chǔ)上采用基于主題模型的LDA方法繼續(xù)降維，共同完成特征空間的重定義。
　　3)基于模糊聚類與狄利克雷過(guò)程的混合聚類算法研究。結(jié)合專家數(shù)據(jù)的實(shí)際情況，傳統(tǒng)硬聚類方法無(wú)法實(shí)現(xiàn)一個(gè)專家有多個(gè)研究方向的問(wèn)題。根據(jù)此情況本文提出了可將一條數(shù)據(jù)分到多個(gè)類的模糊聚類方法，同時(shí)在預(yù)處理時(shí)對(duì)專家數(shù)據(jù)進(jìn)行預(yù)分類工作。該方法結(jié)合模糊聚類與狄利克雷過(guò)程的FCM-DP混合聚類方法，進(jìn)行分層次聚類。不僅提高了數(shù)據(jù)處理的準(zhǔn)確率，還能夠更好地確定聚類主題。同時(shí)

5、，通過(guò)數(shù)據(jù)后處理對(duì)結(jié)果進(jìn)行優(yōu)化。
　　4)實(shí)驗(yàn)的結(jié)果評(píng)估與方法驗(yàn)證。本文的實(shí)驗(yàn)部分完成了對(duì)2）、3）中的研究工作的設(shè)計(jì)與實(shí)現(xiàn)，并通過(guò)相關(guān)評(píng)估參數(shù)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)估驗(yàn)證，對(duì)比分析了本文提出的特征選擇、特征抽取以及FCM-DP混合聚類方法與其它經(jīng)典方法的相關(guān)實(shí)驗(yàn)結(jié)果。同時(shí)結(jié)合LDA算法與專家地域關(guān)系信息完成了專家主題網(wǎng)絡(luò)的構(gòu)建。
　　本文通過(guò)聚焦爬蟲(chóng)從網(wǎng)頁(yè)上獲取專家信息，提出了結(jié)合CRF分詞與全局TF-IDF的特征選擇、基于主題