機(jī)器學(xué)習(xí)算法在文本分析中的研究.pdf

1、隨著互聯(lián)網(wǎng)信息資源的指數(shù)增長(zhǎng)，如何實(shí)現(xiàn)海量文本數(shù)據(jù)的自動(dòng)分析已成為日益緊迫的研究課題。近年來(lái)，作為文本自動(dòng)分析的重要手段，文本聚類及熱點(diǎn)信息發(fā)現(xiàn)逐漸受到研究者的重視。對(duì)互聯(lián)網(wǎng)信息的聚類處理使人們可以從總體上了解信息主題的分布，并根據(jù)特定興趣選擇不同主題的文本進(jìn)行瀏覽；對(duì)互聯(lián)網(wǎng)熱點(diǎn)信息的自動(dòng)發(fā)現(xiàn)使用戶更容易了解不同類別中最受關(guān)注的焦點(diǎn)。 本文關(guān)注于文本聚類算法和熱點(diǎn)信息發(fā)現(xiàn)算法的改進(jìn)和高效實(shí)現(xiàn)，以期在海量數(shù)據(jù)和工程化環(huán)境中有效推動(dòng)

2、文本自動(dòng)分析技術(shù)的實(shí)用化。首先，針對(duì)K-Means算法的聚類結(jié)果嚴(yán)重依賴于初始中心點(diǎn)的特性，本文在K-Means算法中引入了具有優(yōu)化近似因子的delta近似K-Center算法，構(gòu)造了改進(jìn)的聚類算法KWOC(K-Means With Optimized Centers)，用以實(shí)現(xiàn)更有效的初始中心點(diǎn)選擇。實(shí)驗(yàn)表明KWOC可顯著提高最終聚類結(jié)果的魯棒性。在KWOC的具體實(shí)現(xiàn)中，本文創(chuàng)新性地設(shè)計(jì)了針對(duì)性較強(qiáng)的事務(wù)性文件系統(tǒng)，實(shí)現(xiàn)了K-Cent

3、er中間計(jì)算結(jié)果的高效緩存，在文件層面實(shí)現(xiàn)K-Center與K-Means的計(jì)算結(jié)果共享。該方案顯著降低KWOC算法的時(shí)間開銷。 其次，為了有效挖掘海量Web數(shù)據(jù)中的熱點(diǎn)信息，設(shè)計(jì)了一種新穎的Web熱點(diǎn)信息發(fā)現(xiàn)算法。該算法以分階段的串頻變化量統(tǒng)計(jì)矩陣為基礎(chǔ)，結(jié)合串頻變化的歷史波動(dòng)，得出有效的熱點(diǎn)信息串的評(píng)價(jià)指標(biāo)，并根據(jù)由該指標(biāo)選中的熱點(diǎn)信息串最終完成熱點(diǎn)文章的甄選工作。該算法的具體實(shí)現(xiàn)同樣利用了有針對(duì)性的事務(wù)性文件系統(tǒng)，因而具有