Web文檔聚類(lèi)在搜索引擎中的應(yīng)用研究.pdf

1、隨著互聯(lián)網(wǎng)上數(shù)據(jù)量爆炸式的增長(zhǎng)，搜索引擎技術(shù)得到廣泛的研究，并且出現(xiàn)了一批非常優(yōu)秀的搜索引擎。但是，現(xiàn)有的搜索引擎只是將返回結(jié)果簡(jiǎn)單地進(jìn)行線(xiàn)性排列，用戶(hù)想要的信息可能被淹沒(méi)在龐大的返回結(jié)果列表中，給用戶(hù)帶來(lái)極大的不便。 本文致力于將搜索引擎返回結(jié)果進(jìn)行聚類(lèi)，把搜索引擎返回的結(jié)果組織成具有層次的類(lèi)結(jié)構(gòu)，同一類(lèi)中的文檔之間的相似度盡可能的大，不同類(lèi)中的文檔之間的相似度盡可能的小，并給每個(gè)類(lèi)賦予一個(gè)具有良好描述性的標(biāo)簽，從而便于用戶(hù)瀏

2、覽，縮短用戶(hù)查找自己所需信息的時(shí)間。 通過(guò)對(duì)當(dāng)前主流聚類(lèi)算法的研究，設(shè)計(jì)了一種基于STC算法的改進(jìn)算法STC—I。STC—I算法的提出是因?yàn)镾TC算法有兩個(gè)缺點(diǎn)—特征空間維數(shù)過(guò)高和未考慮查詢(xún)關(guān)鍵詞與文檔的相關(guān)度。針對(duì)STC的這兩個(gè)缺點(diǎn)，STC—I算法通過(guò)剔除同義詞、近義詞來(lái)給文檔降維，從而降低算法的時(shí)間復(fù)雜度。計(jì)算文檔對(duì)于查詢(xún)的相關(guān)度，不讓與查詢(xún)相關(guān)度較低的文檔參與聚類(lèi)，從而提高聚類(lèi)的準(zhǔn)確率。實(shí)驗(yàn)數(shù)據(jù)表明改進(jìn)后的算法在時(shí)間復(fù)雜度

3、和聚類(lèi)的準(zhǔn)確性方面較原算法有較大的改善。 考慮到日常生活中人們將文檔分類(lèi)的主要參考因素是文檔的主題，設(shè)計(jì)了一種基于主題的聚類(lèi)方法—HTBC。HTBC首先根據(jù)文檔的標(biāo)題和正文提取文檔的關(guān)鍵詞向量，然后通過(guò)訓(xùn)練文本集生成詞類(lèi)，將每個(gè)關(guān)鍵詞向量歸類(lèi)到其應(yīng)屬的詞類(lèi)，將同屬于一個(gè)詞類(lèi)的關(guān)鍵詞向量對(duì)應(yīng)的文檔歸并到用對(duì)應(yīng)詞類(lèi)的名字代表的類(lèi)，從而達(dá)到聚類(lèi)的目的。HTBC共分四個(gè)步驟：預(yù)處理、建立主題向量、生成詞類(lèi)和主題聚類(lèi)。實(shí)驗(yàn)表明HTBC在準(zhǔn)