職位搜索引擎的研究與設(shè)計(jì).pdf

1、隨著互聯(lián)網(wǎng)的不斷發(fā)展壯大，Internet已經(jīng)成為世界上最大的信息資源庫(kù)。同時(shí)，面對(duì)紛繁冗雜的網(wǎng)絡(luò)資源，如何從中準(zhǔn)確、快速、全面的獲取人們所需要的信息已經(jīng)成為一大難題。搜索引擎的出現(xiàn)就是為了幫助人們解決這一難題的。目前，大多數(shù)基于互聯(lián)網(wǎng)的搜索引擎(如：雅虎、百度、谷歌google)是以一種水平的搜索方式向人們提供服務(wù)的。也就是說(shuō)它們是不分種類地把信息提供給人們，各種不同行業(yè)的信息不會(huì)被區(qū)別對(duì)待。人們稱這種搜索引擎為“水平搜索引擎”。雖然

2、這種“水平搜索引擎”可以提供給人們大量的信息，但是它們?cè)谔囟I(lǐng)域內(nèi)的查準(zhǔn)率較低。盡管它們能給用戶返回?cái)?shù)量可觀的查詢結(jié)果，但實(shí)際上，其中與被搜索領(lǐng)域相關(guān)的結(jié)果卻不夠多，返回的內(nèi)容也可能是很久之前的過(guò)時(shí)信息?！八剿阉饕妗钡膬r(jià)值在于可以通過(guò)聚類、分類等各種操作對(duì)海量數(shù)據(jù)進(jìn)行分析，為人們進(jìn)行信息“導(dǎo)航”，但是它們卻很難理解使用者的搜索意圖。 正如上文所言，“水平搜索引擎”無(wú)法準(zhǔn)確、及時(shí)、全面的為人們提供特定領(lǐng)域的信息。針對(duì)于這一點(diǎn)“

3、垂直搜索引擎”應(yīng)運(yùn)而生。所謂“垂直搜索引擎”就是指專們?yōu)槟骋惶囟I(lǐng)域、某一特定人群又或是某一特定需求提供信息和相關(guān)服務(wù)的搜索引擎，它的設(shè)計(jì)應(yīng)該符合所專注的行業(yè)的特點(diǎn)。目前，國(guó)內(nèi)的職位搜索引擎才剛剛起步，在搜索速度等方面都還無(wú)法與百度等“水平搜索引擎”相比。 本文根據(jù)用戶對(duì)職位信息搜索的實(shí)際要求，依據(jù)軟件工程的思想，對(duì)職位搜索引擎進(jìn)行分析研究、設(shè)計(jì)和具體實(shí)現(xiàn)。主要是從提高系統(tǒng)搜索速度和檢索性能的角度來(lái)進(jìn)行系統(tǒng)架構(gòu)、分詞器和分類器的

4、設(shè)計(jì)。最后，經(jīng)過(guò)實(shí)際測(cè)試證明：本文所設(shè)計(jì)的新系統(tǒng)提高了搜索性能，滿足了用戶的功能需求。本文的工作與創(chuàng)新如下： 1.職位搜索引擎體系架構(gòu)的設(shè)計(jì)為了對(duì)原有職位搜索引擎架構(gòu)Jobui2.0(職友集現(xiàn)行的架構(gòu)體系的版本代號(hào)) 的性能進(jìn)行改善，本文設(shè)計(jì)了一套新的職位搜索引擎的架構(gòu)Jobui3.0(職友集新的架構(gòu)體系的版本代號(hào))。這包括：1)引進(jìn)“索引緩存”以減少I/O 消耗提高查詢速度，并通過(guò)“索引管理器”來(lái)控制緩存索引的更新與選取

5、；2)設(shè)計(jì)了旨在加速查詢的多級(jí)緩存機(jī)制；3)設(shè)計(jì)了一套容錯(cuò)和集群擴(kuò)充機(jī)制。 2.高效分詞器的設(shè)計(jì)提出了一種改進(jìn)的正向最大匹配算法(Forward Maximum Matchingmethod,FMM)，并結(jié)合Lucene 設(shè)計(jì)了一個(gè)中英文分詞器。本文列舉了這種分詞器和普通分詞器(運(yùn)用的是原始正向最大匹配算法)的切分對(duì)比數(shù)據(jù)，以及展示了這種分詞器的分詞效果，證明了這種分詞器在堅(jiān)持一定準(zhǔn)確度的情況下，在分詞速度方面已經(jīng)達(dá)到了系統(tǒng)的要