垂直搜索引擎數(shù)據(jù)分析技術(shù)的研究與實(shí)現(xiàn).pdf

1、華北電力大學(xué)（北京）碩士學(xué)位論文垂直搜索引擎數(shù)據(jù)分析技術(shù)的研究與實(shí)現(xiàn)姓名：江娟申請(qǐng)學(xué)位級(jí)別：碩士專業(yè)：計(jì)算機(jī)應(yīng)用技術(shù)指導(dǎo)教師：鄭玲20080301華北電力大學(xué)碩士學(xué)位論文摘 要針對(duì)通用搜索引擎的信息量大、查詢不準(zhǔn)確、深度不夠等問題，本文采用垂直搜索引擎技術(shù)和電子商務(wù)服務(wù)相結(jié)合的新的服務(wù)模式，設(shè)計(jì)了一個(gè)電子商務(wù)垂直搜索引擎系統(tǒng)。論文重點(diǎn)研究了系統(tǒng)的數(shù)據(jù)分析模塊中對(duì)頁面數(shù)據(jù)信息抽取方式和數(shù)據(jù)索引的關(guān)鍵技術(shù)和實(shí)現(xiàn)算法；設(shè)計(jì)實(shí)現(xiàn)了數(shù)據(jù)展示模塊的

2、用戶查詢接口，同時(shí)對(duì)檢索結(jié)果做了相關(guān)性分析。在對(duì)各類信息抽取技術(shù)進(jìn)行分析和比較后，設(shè)計(jì)了本系統(tǒng)的信息抽取方案；針對(duì)該方案本文設(shè)計(jì)了獨(dú)有的索引結(jié)構(gòu)，在數(shù)據(jù)索引過程中應(yīng)用了基于詞庫的最大匹配分詞算法，采用順排和倒排索引相結(jié)合的文件索引方式建立索引。經(jīng)過試驗(yàn)證明，本文設(shè)計(jì)和實(shí)現(xiàn)的電子商務(wù)搜索引擎能夠滿足用戶結(jié)構(gòu)化查詢需求，該系統(tǒng)具有較好的實(shí)用價(jià)值和應(yīng)用前景。關(guān)鍵詞：垂直搜索引擎，信息抽取，中文分詞，倒排索引，相關(guān)性排序A B S T R A

3、C TA i m e dt ot h es o l v i n gt h ep r o b l e m so ft o o —m a s s i v e d a t a ，l o ws e a r c ha c c u r a c ya n d p r o f u n d i t yi nc o m m o n S E a n db a s e d o n t h en e w s e r v i c em o d e l o f v

4、e r t i c a ls e a r c he n g i n ec o m b i n e dw i t hE - c o m m e r c e ，t h i sp a p e rd e s i g n s aE - c o m m e r c eV S E s y s t e m ，w i t h f o c u s o n t h e k e y t e c h n i q u e s a n d a r i t h m e

5、 t i c o f w e b p a g e s ’i n f o r m a t i o ne x t r a c t i o na n d d a t ai n d e xo ft h ed a t aa n a l y s i sm o d u l e ，a n di m p l e m e n t a t i o no fu s e rq u e r y i n t e r f a c e a n d r e s u l t

6、 s a n a l y s i s o ft h e d a t a p r e s e n t m o d u l e ．B a s e d o nt h ea n a l y s i s a n dc o m p a r i s o no f I Et e c h n o l o g y , t h i sp a p e rp r o p o s e sa n a p p l i c a b l eI Es o l u t i o

7、 n ；a p p l y t h e M M a r i t h m e t i c o f C h i n e s e s e g m e n t a t i o n b a s e d —o n w o r d sd a t a b a s ea n d c o o p e r a t i o n o fs e q u e n c e i n d e xa n d i n v e r t e d i n d e xa n d t

8、h e s p e c i a l i n d e xs t r u c t u r e ．A f t e r s y s t e m t e s t i n g ，t h e E - c o m m e r c es e a r c he n g i n e f u l f i l l s t h eu s e r s ’q u e r yn e e do fs t r u c t u r e d i n f o r m a t i

9、o n ．I tp r o v e st o b ew i t hp r a c t i c a l i t yv a l u ea n da p p l i c a t i o nf o r e g r o u n d ．J i a n g J u a n ( C o m p u t e r A p p l i c a t i o n T e c h n o l o g y )D i r e c t e db y v i c e p