基于Lucene的商品垂直搜索引擎研究與實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)信息資源的急劇增長，人們?cè)絹碓蕉嗟仃P(guān)注如何快速有效地從海量的網(wǎng)絡(luò)信息中，抽取出潛在的、有價(jià)值的信息，使之有效地在管理和決策中發(fā)揮作用。垂直搜索引擎具有專、精、深的特點(diǎn),可通過面向某一特定的領(lǐng)域、人群或需求僅搜索網(wǎng)絡(luò)中的特定主題信息,并且聚合信息、處理索引,提供有價(jià)值的相關(guān)服務(wù)和信息,從而提高用戶檢索時(shí)的準(zhǔn)確率。
　　現(xiàn)在網(wǎng)絡(luò)上進(jìn)行商品交易的活動(dòng)越來越多，在這里將針對(duì)這種應(yīng)用來設(shè)計(jì)商品搜索引擎，以方便用戶能夠在短時(shí)間內(nèi)找到自

2、己需要的商品，并及時(shí)購買，那么這就涉及到了商品垂直搜索引擎的實(shí)現(xiàn)。
　　本文提出了電子商務(wù)系統(tǒng)中的一個(gè)商品垂直搜索引擎。首先用 python寫爬蟲從現(xiàn)有的B2C網(wǎng)站京東、天貓上抓取商品數(shù)據(jù)，也可以自己手動(dòng)地添加商品數(shù)據(jù)到數(shù)據(jù)庫，這里專門開發(fā)了后臺(tái)數(shù)據(jù)添加模塊。接著探討了基于MD5數(shù)字簽名的數(shù)據(jù)消重算法，經(jīng)過試驗(yàn)在查準(zhǔn)率、查全率和響應(yīng)時(shí)間上都滿足實(shí)際需求。然后借鑒關(guān)聯(lián)規(guī)則理論對(duì)中文詞語進(jìn)行定義，在此基礎(chǔ)上構(gòu)建Autoword自動(dòng)構(gòu)詞

3、算法，該算法可以從大量中文語料庫中動(dòng)態(tài)地構(gòu)造詞表，并以此為基礎(chǔ)進(jìn)行中文文本挖掘工作。針對(duì)電子商務(wù)系統(tǒng)中商品結(jié)構(gòu)化信息的特點(diǎn)，結(jié)合現(xiàn)有的TF-IDF算法提出了一種改進(jìn)的排序算法，并在該系統(tǒng)中應(yīng)用了全文檢索和數(shù)據(jù)庫查詢兩種技術(shù)。全文檢索技術(shù)和數(shù)據(jù)庫的結(jié)合既支持了相關(guān)度排序,提高了檢索速度,又能靈活查詢和使用商品的結(jié)構(gòu)化信息和實(shí)時(shí)信息，并通過結(jié)果展示以及與其他電子商務(wù)網(wǎng)站的橫向比較驗(yàn)證了該算法的優(yōu)越性。現(xiàn)有的搜索引擎大都采用了輸入—輸出的響應(yīng)

4、模式，該模式?jīng)]有考慮用戶反饋，本文提出了基于用戶交互的自適應(yīng)算法,探討了智能排序，從而利用用戶數(shù)據(jù)對(duì)排序結(jié)果作優(yōu)化。最后，本文完成了系統(tǒng)的總體框架搭建及實(shí)現(xiàn)。本人在學(xué)位論文中所做的主要工作如下：
　　1、爬蟲與數(shù)據(jù)消重模塊設(shè)計(jì)與實(shí)現(xiàn)
　　在本系統(tǒng)中的數(shù)據(jù)源為兩部分，一部分是用python腳本寫的爬蟲程序從起始URL開始，以廣度優(yōu)先算法從現(xiàn)有的B2C網(wǎng)站京東、天貓上爬取到的數(shù)據(jù)，還有就是自己手動(dòng)添加到數(shù)據(jù)庫里的數(shù)據(jù)，這里專門開

5、發(fā)了后臺(tái)數(shù)據(jù)添加模塊。
　　優(yōu)秀的垂直搜索引擎需要一個(gè)高質(zhì)量的數(shù)據(jù)來源，高質(zhì)量的搜索結(jié)果必然依賴于高質(zhì)量的數(shù)據(jù)，為了避免得到重復(fù)、相似或者信息不完整的搜索結(jié)果，數(shù)據(jù)分析和掌握了Lucene主要架構(gòu)和各個(gè)部件,搭建了完整的開發(fā)環(huán)境，詳細(xì)地研究其中的索引模塊和檢索模塊實(shí)現(xiàn)機(jī)制和原理,通過對(duì)搜索引擎以及結(jié)合Lucene自身的特定制定本次設(shè)計(jì)需要實(shí)現(xiàn)的功能，開發(fā)了一個(gè)基于Lucene的商品垂直搜索引擎。它具有一下特點(diǎn)：（1）能夠接受pyt

6、hon爬蟲爬取的數(shù)據(jù)，也有自己的后臺(tái)數(shù)據(jù)手動(dòng)添加模塊；（2）支持分詞查詢；（3）運(yùn)用Lucene工具包編程實(shí)現(xiàn)了網(wǎng)頁內(nèi)容索引；（4）運(yùn)用Ajax技術(shù)實(shí)現(xiàn)搜索服務(wù)的網(wǎng)頁交互,生成動(dòng)態(tài)網(wǎng)頁,返回用戶搜索結(jié)果；（5）運(yùn)用Spring框架實(shí)現(xiàn)系統(tǒng)的后臺(tái)管理，運(yùn)用JSP技術(shù)實(shí)現(xiàn)系統(tǒng)的前臺(tái)開發(fā)；（6）支持全文搜索；（7）能夠高亮顯示搜索關(guān)鍵字；（8）顯示查詢所用的時(shí)間；（9）顯示搜索歷史、過濾關(guān)鍵字；（10）能夠清除查詢歷史。
　　其中分詞、