TextRank關(guān)鍵詞提取算法與SOM文本聚類模型的優(yōu)化研究.pdf

1、互聯(lián)網(wǎng)信息技術(shù)快速發(fā)展，為滿足人們對浩瀚網(wǎng)絡(luò)文本信息的檢索需求，文本聚類逐漸成為人們研究的焦點(diǎn)。在文本聚類過程中，關(guān)鍵詞提取與聚類算法分析起著至關(guān)重要的作用。為改善的文本聚類效果，本文從這兩個(gè)方面展開研究:
　　1.提出改進(jìn)的TextRank關(guān)鍵詞提取算法預(yù)處理文本。將基于滑動窗格的詞互信息作為邊權(quán)重加入到TextRank算法的圖模型中，優(yōu)化了TextRank算法中候選詞評分分配問題。在此基礎(chǔ)上，將候選詞的頂點(diǎn)權(quán)重-單文檔詞頻TF

2、(Term Frequency)加入到TextRank算法的權(quán)值迭代計(jì)算公式，用詞頻調(diào)整詞的跳轉(zhuǎn)概率，一定程度上解決了等概率“跳轉(zhuǎn)”問題。實(shí)驗(yàn)結(jié)果表明:所提算法的準(zhǔn)確率、召回率以及F1值均有提升，算法的迭代計(jì)算效率提升20％;所提取關(guān)鍵詞更能代表文本特征，有助于改善后續(xù)的文本聚類效果。
　　2.將貝葉斯正則化理論引入SOM文本聚類訓(xùn)練算法，在SOM權(quán)值調(diào)整公式中引入反映網(wǎng)絡(luò)權(quán)值復(fù)雜性的懲罰項(xiàng)，避免權(quán)值調(diào)整過程中出現(xiàn)過度擬合;利用貝