聚類算法及在搜索引擎系統(tǒng)中的應(yīng)用.pdf

1、搜索引擎作為海量信息的融合平臺將萬千世界帶到人們的周圍，使得大量信息都觸手可得，與此同時也悄悄改變著人們的生活。搜索引擎分為全文索引、目錄索引和元搜索引擎，而且其內(nèi)部形式一直沒有太大的變化。針對以上傳統(tǒng)搜索引擎類型可讀性差的狀況，聚類引擎應(yīng)運(yùn)而生。聚類引擎是在搜索引擎中使用聚類技術(shù)，運(yùn)用聚類算法對搜索結(jié)果進(jìn)行自動聚類分析。其特點(diǎn)是去重性強(qiáng)、分類性強(qiáng)、匯集性強(qiáng)，即可以及時去除重復(fù)信息，對搜索的結(jié)果進(jìn)行分門別類，又可以匯集各大知名搜索引擎的

2、信息資源。
　　本文針對聚類引擎進(jìn)行了研究，用幾種聚類算法對搜索引擎的搜索結(jié)果進(jìn)行聚類處理，并返回聚類結(jié)果，最后對比這幾種聚類算法效果，實驗中借助Carrot2平臺進(jìn)行分析總結(jié)。
　　具體完成的工作有如下幾個部分:
　　1.利用開源搜索引擎框架Nutch，搭建搜索引擎平臺，并完成分詞、分頁等基本功能，為聚類引擎提供實驗基礎(chǔ)數(shù)據(jù)。
　　2.將當(dāng)前主流的K-Means聚類算法、STC聚類算法和Lingo聚類算法寫入N

3、utch搜索引擎，形成相應(yīng)算法下的聚類引擎，并逐一分析聚類結(jié)果效果。分析內(nèi)容包括各個算法下生成的類目標(biāo)簽和對大小數(shù)據(jù)集的處理情況等。
　　3.針對Lingo閾值的固定性，結(jié)合K-means算法距離提取的思想和Lingo算法對不同密度數(shù)據(jù)集可動態(tài)調(diào)節(jié)閾值的思想，將Lingo算法進(jìn)行優(yōu)化，在保證算法復(fù)雜度的情況下對不同數(shù)據(jù)密度的原數(shù)據(jù)返回更精確的聚類結(jié)果。
　　4.利用Carrot2聚類可視化和F-measure聚類評測平臺對本