數(shù)據(jù)挖掘大作業(yè)

1、使用knn方法的信息論聚類,,大綱,背景相關(guān)知識(shí)算法介紹實(shí)驗(yàn)總結(jié),大綱,背景相關(guān)知識(shí)算法介紹實(shí)驗(yàn)總結(jié),背景,聚類：把數(shù)據(jù)對(duì)象劃分為子集的過(guò)程應(yīng)用：機(jī)器學(xué)習(xí)、模式識(shí)別、商業(yè)智能。。。聚類方法：劃分方法、層次方法、基于密度的方法、基于網(wǎng)格的方法,聚類方法,非參數(shù)信息論聚類,信息理論學(xué)習(xí)（ITL）方法：過(guò)程：,是美國(guó)弗羅里達(dá)計(jì)算神經(jīng)工程實(shí)驗(yàn)室的研究員們歷時(shí)超過(guò)十年時(shí)間完成的，這個(gè)理論橫跨了

2、數(shù)字信號(hào)處理，信息論，機(jī)器學(xué)習(xí)等多門學(xué)科,該理論的核心是利用信息論中信息摘和離差的描述符和作為非參數(shù)代價(jià)函數(shù)去訓(xùn)練有監(jiān)督或者無(wú)監(jiān)督的自適應(yīng)學(xué)習(xí)系統(tǒng)，因此而稱作信息理論學(xué)習(xí),采取的方法是基于Renyi的二階熵的使用梯度下降的方法進(jìn)行全局優(yōu)化,本文工作,改進(jìn)的knn ITC的方法分層方法來(lái)優(yōu)化KNN信息論的代價(jià)函數(shù)兩個(gè)不同的k值與Parzen窗做比較,大綱,背景相關(guān)知識(shí)算法介紹實(shí)驗(yàn)總結(jié),Knn概率估計(jì)函數(shù),數(shù)據(jù)源

3、：有D維數(shù)據(jù)集 Knn的概率估計(jì)：,其中 𝑉 𝑘 (X)是以x為中心第k個(gè)近鄰的超體積,其中Г(*)是伽瑪函數(shù) || 𝑋 𝑘 || 2 是向量x到第k個(gè)近鄰歐氏距離的模,Parzen窗,核函數(shù)密度估計(jì)：窗函數(shù)類型,𝜑 𝑢 = 1,|𝑢|≤ 1 2 0,

4、其他,𝜑 𝑢 = 1 √2 exp ? 1 2 𝑢 2,𝜑 𝑢 =𝑒𝑥𝑝 ?|𝑢|,方窗,正態(tài)窗,指示窗,相關(guān)結(jié)果,Silverman規(guī)則其中,CS散度,Renyi的二次熵柯西-施瓦茨散度：Renyi形式：一般化：,改進(jìn)的CS散度,Knn的估計(jì)熵：Knn的交叉熵：改

5、進(jìn)后的CS散度：,大綱,背景相關(guān)知識(shí)算法介紹實(shí)驗(yàn)總結(jié),算法流程,,{X1， X2…Xn},A{a1,a2..an},B{b1,b2..bn},C{c1,c2..cn},,初始的Kinit個(gè)簇,,未標(biāo)簽的數(shù)據(jù)點(diǎn),算法流程,,{X1， X2…Xn},A{a1,a2..an},B{b1,b2..bn},C{c1,c2..cn},A{a1,a2..x3..x5..},B{b1,b2..x1,xn..},C{c1

6、,c2..x4,x9..},,J cs 最小,算法流程,假設(shè) J cs 𝐴,𝐵 < J cs 𝐴,𝐶 < J cs 𝐵,𝐶,A{a1,a2..x3..x5..},B{b1,b2..x1,xn..},C{c1,c2..x4,x9..},計(jì)算最小的 J cs 𝐴+𝑐𝑛..,&

7、#119861;+c1..,A{a1,c1,x1…},B{b1,cn,xn…},偽代碼,參數(shù)選擇,K init 和 N init 的選擇：K值的選擇：,不屬于關(guān)鍵參數(shù)，只要不要太小即可,簇與簇間 即 為k = 1簇內(nèi) 或 k = K max,大綱,背景相關(guān)知識(shí)算法介紹實(shí)驗(yàn)總結(jié),實(shí)驗(yàn),數(shù)據(jù)集為wine

8、數(shù)據(jù) K init 為（10~12）， N init 為80%, 𝐾 𝑒𝑛𝑑 為（2~3）來(lái)源UCI數(shù)據(jù)庫(kù)（加州大學(xué)歐文分校）,基準(zhǔn)數(shù)據(jù),不同算法間準(zhǔn)確率的比較,人臉圖像,數(shù)據(jù)為300張的“Fery faces”分辨率（28*20）數(shù)據(jù)來(lái)源：http://cs.nyu.edu/roweis/data.html,,,聚類結(jié)果比較,遙感圖像數(shù)據(jù),分辨率為（1