垂直搜索引擎中語(yǔ)義計(jì)算技術(shù)研究.pdf

1、近年來(lái)由于網(wǎng)絡(luò)上的信息量迅猛增加和網(wǎng)絡(luò)信息組織的無(wú)序性，用戶(hù)不容易從傳統(tǒng)搜索引擎返回的檢索結(jié)果中找到自己所需要的信息。垂直搜索引擎的出現(xiàn)和發(fā)展，一定程度上克服了傳統(tǒng)搜索引擎的數(shù)據(jù)雜亂等弱點(diǎn)。然而現(xiàn)在的垂直搜索引擎基本上還是基于關(guān)鍵字匹配的方式，無(wú)法克服關(guān)鍵字匹配方式固有的問(wèn)題；垂直搜索引擎對(duì)數(shù)據(jù)質(zhì)量的要求比較高，現(xiàn)在通過(guò)大量人工參與來(lái)提高數(shù)據(jù)質(zhì)量，使得系統(tǒng)的維護(hù)成本非常高。本文提出了一種提高垂直搜索引擎數(shù)據(jù)質(zhì)量和檢索效果的語(yǔ)義計(jì)算方法。

2、通過(guò)某些語(yǔ)義詞典或者是統(tǒng)計(jì)方法生成詞語(yǔ)語(yǔ)義相似度矩陣，利用改進(jìn)的文本語(yǔ)義相似度計(jì)算方法計(jì)算文本之間在語(yǔ)義層面上的相似程度。使用這種方法在垂直搜索引擎的數(shù)據(jù)處理階段對(duì)文本進(jìn)行語(yǔ)義層面處理，提高數(shù)據(jù)的質(zhì)量；對(duì)數(shù)據(jù)進(jìn)行分類(lèi)和聚類(lèi)處理，以提高檢索效率；在檢索階段，可以實(shí)現(xiàn)語(yǔ)義層面的檢索，克服了基礎(chǔ)關(guān)鍵字匹配方式帶來(lái)的查全率和查準(zhǔn)率不高等問(wèn)題。文中詳細(xì)介紹了如何利用語(yǔ)義計(jì)算技術(shù)解決垂直搜索引擎中的一些具體問(wèn)題。本文還介紹了我們?cè)O(shè)計(jì)的一個(gè)農(nóng)業(yè)方面的

3、垂直搜索引擎。這個(gè)搜索引擎成功地融入了一些語(yǔ)義計(jì)算技術(shù)，取得了良好效果，目前這個(gè)搜索引擎已經(jīng)可以穩(wěn)定地對(duì)外提供高質(zhì)量的檢索服務(wù)。 本文首先介紹了關(guān)于搜索引擎和語(yǔ)義計(jì)算方面的一些基本知識(shí)，結(jié)合垂直搜索引擎的特點(diǎn)分析了引入語(yǔ)義計(jì)算技術(shù)的必要性和可行性；介紹了文本檢索和語(yǔ)義計(jì)算方面的相關(guān)成果，討論它們的應(yīng)用價(jià)值或者是可以借鑒地方。然后針對(duì)傳統(tǒng)的向量空間模型中文本相似度計(jì)算方法的不足，提出了一種基于語(yǔ)義的文本相似度計(jì)算方法，并討論了這種

4、方法中詞語(yǔ)相似度矩陣的相關(guān)問(wèn)題，對(duì)如何生成詞語(yǔ)相似度矩陣進(jìn)行分析，并通過(guò)實(shí)驗(yàn)和分析指出了這些方法的優(yōu)劣和針對(duì)不同類(lèi)型的文本數(shù)據(jù)進(jìn)行語(yǔ)義計(jì)算的價(jià)值。接下來(lái)針對(duì)垂直搜索引擎中的具體問(wèn)題，舉例說(shuō)明了語(yǔ)義計(jì)算技術(shù)在垂直搜索引擎設(shè)計(jì)中的具體使用方法，并通過(guò)實(shí)驗(yàn)分析了這些方法在具體應(yīng)用中的特點(diǎn)。然后介紹了我們基于語(yǔ)義計(jì)算的農(nóng)業(yè)垂直搜索引擎從數(shù)據(jù)處理到文本檢索的整個(gè)系統(tǒng)的設(shè)計(jì)思想和整體設(shè)計(jì)框架，并討論了一些具體問(wèn)題的處理方式，然后通過(guò)一系列實(shí)驗(yàn)證明了