文本聚類算法的參數(shù)設(shè)置問題研究.pdf

1、數(shù)據(jù)挖掘技術(shù)是多種學(xué)科相結(jié)合的產(chǎn)物,它集合了數(shù)據(jù)庫技術(shù)、人工智能、機(jī)器學(xué)習(xí)等多學(xué)科發(fā)展成果,是一種理論性和應(yīng)用性都很強(qiáng)的技術(shù)。作為一門多學(xué)科綜合應(yīng)用技術(shù),此項(xiàng)技術(shù)把多門技術(shù)結(jié)合起來加以應(yīng)用,包括最新的人工智能技術(shù),以及機(jī)器學(xué)習(xí),還包括傳統(tǒng)數(shù)據(jù)庫技術(shù),通過對信息的挖掘和模式的識(shí)別,由計(jì)算機(jī)按照某種方法自動(dòng)生成,把數(shù)據(jù)中發(fā)現(xiàn)未知的、具有潛在應(yīng)用價(jià)值的信息識(shí)別出來,解決數(shù)據(jù)量大而知識(shí)貧乏的矛盾。目前這一技術(shù)已在商業(yè)、金融、保險(xiǎn)、醫(yī)療等多個(gè)領(lǐng)域

2、產(chǎn)生了巨大的效益。
　　目前文本聚類技術(shù)在算法設(shè)計(jì)方面取得了大量成果,并形成了自己的一套理論和方法體系,作為非監(jiān)督學(xué)習(xí)問題中的典型問題,文本聚類算法用不同的數(shù)據(jù)分析方法,設(shè)計(jì)研發(fā)出眾多聚類算法,常見的由劃分方法、層次的方法、基于密度的方法、基于網(wǎng)格的方法以及基于模型的方法等,這些算法都在特征選取、分類計(jì)算等技術(shù)環(huán)節(jié)給出了解決方案,在性能和質(zhì)量上都有不錯(cuò)的表現(xiàn)。
　　這些算法在文本聚類的主要步驟都差不多,只是在各個(gè)步驟的處理實(shí)

3、現(xiàn)上方法不同,因此也都有了各自優(yōu)點(diǎn)和缺點(diǎn)。比如目前比較流行的K-Means算法,其優(yōu)點(diǎn)和缺點(diǎn)都很明顯,為此很多研究者提出多種改進(jìn)算法。
　　在詳細(xì)分析了這些不同類型的文本聚類算法,并總結(jié)他們的優(yōu)點(diǎn)和缺點(diǎn)的基礎(chǔ)上,提出了一個(gè)新的算法設(shè)計(jì)思路:綜合多種不同類型算法,針對不同的需求,在聚類的不同階段使用不同算法混合計(jì)算。
　　進(jìn)而,針對K-Means算法的K參數(shù)選取問題,設(shè)計(jì)了一種混合計(jì)算方法,有效的提高了K-Means算法的聚類