基于Ontology的Web文本聚類研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展和個(gè)人計(jì)算機(jī)的普及，目前全世界每四個(gè)人中就有一個(gè)人使用計(jì)算機(jī)上網(wǎng)，2010年中國(guó)的網(wǎng)頁(yè)數(shù)量高達(dá)336億，其中87.8％的數(shù)據(jù)是以文本的形式存在。因此對(duì)文本信息的挖掘是從互聯(lián)網(wǎng)上獲取知識(shí)的重要途徑。
　　 聚類技術(shù)在信息檢索領(lǐng)域有著廣泛的應(yīng)用，有很多非常成熟的算法在各個(gè)方面承擔(dān)著重要角色。傳統(tǒng)的搜索引擎以列表的形式返回搜索結(jié)果，對(duì)于一個(gè)模糊的、語義不明確的、或者屬于多個(gè)主題的查詢?cè)~，不同語義、不同主題的搜索

2、內(nèi)容可能分散在長(zhǎng)長(zhǎng)的列表中，用戶不得不花費(fèi)大量的精力和時(shí)間從中查找符合自己查詢意圖的目標(biāo)結(jié)果。這種情況下，一方面降低了搜索結(jié)果的質(zhì)量，另一方面也使用戶的滿意度大打折扣。研究人員為解決此類問題提供了許多方法，其中對(duì)搜索引擎返回結(jié)果進(jìn)行聚類成為解決這一問題的有效途徑，并在實(shí)踐中被不斷的完善。Vivisimo，Infonetware RealTerm Search都是非常成功的商業(yè)聚類搜索引擎。
　　 搜索結(jié)果聚類系統(tǒng)的輸入通常是由傳

3、統(tǒng)搜索引擎響應(yīng)用戶查詢所返回的一個(gè)搜索結(jié)果集，其中每一個(gè)搜索結(jié)果由題目、文本摘要和原始頁(yè)面鏈接組成。輸出是對(duì)結(jié)果集進(jìn)行聚類后得到的一組有標(biāo)簽標(biāo)識(shí)的聚簇。搜索結(jié)果聚類涉及到文本挖掘領(lǐng)域的多個(gè)方面，搜索結(jié)果文本的表示模型、短語相似度計(jì)算方法、搜索結(jié)果聚類算法的選擇等。如何挖掘搜索結(jié)果中的關(guān)聯(lián)信息，如何在語義層面上提取聚簇標(biāo)簽，這些都是搜索結(jié)果聚類技術(shù)的研究重點(diǎn)。
　　 本文提出了一種針對(duì)中文網(wǎng)頁(yè)搜索結(jié)果進(jìn)行聚類的改進(jìn)方法。與傳統(tǒng)的聚

4、類技術(shù)著重于文本相似度計(jì)算和聚簇結(jié)構(gòu)不同，搜索結(jié)果聚類將聚類標(biāo)簽的提取放在技術(shù)研究中最重要的位置。聚類標(biāo)簽的語義完整性、可讀性、對(duì)聚簇的概括性是評(píng)價(jià)搜索結(jié)果聚類標(biāo)簽質(zhì)量的重要指標(biāo)。一個(gè)好的聚簇標(biāo)簽不僅可以有效的區(qū)分聚簇間的相互關(guān)系和彼此間的層次性，直觀的表達(dá)各聚簇的主題，而且能夠引導(dǎo)用戶快速定位需要的信息和資源。本文通過本體的輔助改善聚類標(biāo)簽質(zhì)量，對(duì)搜索結(jié)果的聚簇標(biāo)簽進(jìn)行概念層次的提取，有效提高了聚類標(biāo)簽的可讀性和概括性。
　　

5、 本文的主要貢獻(xiàn)如下：
　　 (1)提出一種用來識(shí)別含有較完整語義信息短語的方法，這種方法通過比較后綴樹文本模型中基類屬性和包含這些基類的文檔重合數(shù)量來識(shí)別完整語義信息短語。
　　 (2)為了更好的反映短語間的關(guān)聯(lián)度，本文采用了基于句子粒度的短語貢獻(xiàn)度計(jì)算方法。
　　 (3)提出基類貢獻(xiàn)度的概念，通過基類包含的詞語個(gè)數(shù)、詞語的詞性等屬性為基類分配合適的權(quán)重，從而判斷一個(gè)基類是否有資格進(jìn)入形成聚簇標(biāo)簽的候選基類集合