面向數(shù)碼產(chǎn)品信息的垂直搜索引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)上的信息的爆炸式增長，人們從最初在互聯(lián)網(wǎng)上得到大量有用信息，變成了面對海量信息卻無從下手的狀況。同時(shí)隨著電子商務(wù)的蓬勃發(fā)展，網(wǎng)上購物的用戶越來越多，大量用戶對網(wǎng)上的商品信息的需求從泛泛了解，逐漸變成專業(yè)，精確，有深度。通用搜索引擎的出現(xiàn)在一定程度上解決了部分問題，但用戶在使用通用搜索引擎時(shí)卻面臨著搜索結(jié)果不夠精準(zhǔn)，不符合需求等問題。為了應(yīng)對某一特定領(lǐng)域，用戶的需求，對互聯(lián)網(wǎng)中某一主題進(jìn)行深入的信息聚合，整理，垂直搜索引擎技術(shù)便

2、成為了研究熱點(diǎn)。
　　本文應(yīng)對越來越多的互聯(lián)網(wǎng)用戶對網(wǎng)上商品信息，購買信息的精準(zhǔn)搜索需求，設(shè)計(jì)了一款面向商品信息的垂直搜索引擎系統(tǒng)。該系統(tǒng)以實(shí)現(xiàn)對商品信息的深入聚合，信息精提取，并返回給用戶專業(yè)，深入的搜索結(jié)果為目標(biāo)，對垂直搜索引擎系統(tǒng)進(jìn)行了架構(gòu)設(shè)計(jì)，并實(shí)現(xiàn)了具體功能。
　　本文的主要研究內(nèi)容和所做工作為:(1)設(shè)計(jì)實(shí)現(xiàn)面向垂直領(lǐng)域的信息抓取模塊，對一般網(wǎng)絡(luò)爬蟲的抓取目標(biāo)和策略進(jìn)行改進(jìn)和優(yōu)化，使用嵌入式內(nèi)存數(shù)據(jù)庫構(gòu)建鏈接隊(duì)列

3、，并創(chuàng)建布隆過濾器進(jìn)行網(wǎng)頁消重，以實(shí)現(xiàn)對商品信息定向精準(zhǔn)的抓取，同時(shí)對抓取的信息去除無用冗余部分，進(jìn)行專業(yè)化的提取。(2)根據(jù)垂直搜索引擎特點(diǎn)，采用最大正向匹配分詞算法和整詞二分詞典，構(gòu)建了中文分詞系統(tǒng)，對中文信息進(jìn)行分詞以供索引的構(gòu)建。(3)分析研究倒排索引技術(shù)，索引壓縮技術(shù)，使用開源工具包Lucene實(shí)現(xiàn)了文本的索引構(gòu)建，同時(shí)分析研究了檢索策略，排序算法，對用戶的精準(zhǔn)的檢索需求實(shí)現(xiàn)了信息檢索。(4)在J2EE平臺上，應(yīng)用MVC模式，