垂直搜索引擎技術(shù)研究與應(yīng)用——承乘廣緣網(wǎng)站搜索引擎的設(shè)計(jì).pdf

1、隨著Internet的飛速發(fā)展，Web上的信息量越來(lái)越大，通用搜索引擎將面臨信息采集、存儲(chǔ)等方面更大的挑戰(zhàn)。此外，工作頻率不斷加快的現(xiàn)代商務(wù)人群對(duì)通用搜索頁(yè)面中的大量非目標(biāo)源信息感到不滿(mǎn)，開(kāi)始對(duì)專(zhuān)業(yè)領(lǐng)域的搜索精確性產(chǎn)生了強(qiáng)烈的需求，因此，而向?qū)I(yè)領(lǐng)域的搜索引擎即垂直搜索引擎應(yīng)運(yùn)而生。承乘廣緣網(wǎng)絡(luò)科技有限公司針對(duì)這一需求，籌各創(chuàng)建面向商業(yè)用戶(hù)的垂直搜索引擎一一搜商網(wǎng)。
　　 本文依托該項(xiàng)目研究設(shè)計(jì)了搜商網(wǎng)的搜索引擎。本文分析了當(dāng)前

2、Web信息檢索的模型及算法，針對(duì)搜商網(wǎng)垂直搜索引擎中的一些關(guān)鍵問(wèn)題展開(kāi)研究，主要包括三個(gè)核心模塊：搜商網(wǎng)的信息爬取、信息分類(lèi)及信息索引。
　　 信息爬取模塊針對(duì)如今Web上頁(yè)面上噪聲較多，且相關(guān)鏈接較為集中，成塊出現(xiàn)等特點(diǎn)，對(duì)原有的Shark-Search算法進(jìn)行了改進(jìn)，具體內(nèi)容包括避開(kāi)廣告等與主題無(wú)關(guān)的噪聲，提高相關(guān)網(wǎng)頁(yè)塊中錨文本與主題無(wú)關(guān)鏈接的優(yōu)先級(jí)，使相關(guān)鏈接優(yōu)先爬取，并獲得更多相關(guān)鏈接。
　　 信息分類(lèi)模塊提出了

3、一種簡(jiǎn)單的階梯式一對(duì)一支持向量機(jī)文本分類(lèi)器。分類(lèi)算法分析了支持向量機(jī)在文本分類(lèi)中的優(yōu)勢(shì)，結(jié)合支持向量機(jī)理論二分類(lèi)的特點(diǎn)，將多類(lèi)依次使用多個(gè)分類(lèi)器分開(kāi)，這種方法擁有模型簡(jiǎn)單，分類(lèi)準(zhǔn)確及易于實(shí)現(xiàn)等優(yōu)點(diǎn)。
　　 信息索引模塊提出了一種基于中文分詞索引的倒排序索引數(shù)據(jù)庫(kù)。本文使用由正排索引結(jié)果建立倒排索引的方法建立索引數(shù)據(jù)庫(kù)，并在索引庫(kù)中使用改進(jìn)的鏈表式存儲(chǔ)結(jié)構(gòu)，減少了更新數(shù)據(jù)庫(kù)多花費(fèi)的服務(wù)器開(kāi)銷(xiāo)。
　　 最后基于以上設(shè)計(jì)，本文