基于Nutch和Lucene個性化搜索引擎研究和實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)在用戶群中的普及，用戶所能接觸到的數(shù)據(jù)成爆炸式增長，用戶在海量的數(shù)據(jù)中搜索自己所需數(shù)據(jù)和內(nèi)容也就越來越困難，這不僅會導(dǎo)致過多的損耗大把時間并且也消耗不小的身體精力，這對用戶檢索結(jié)果的效果和質(zhì)量會造成極大的影響。而目前一般的搜索引擎系統(tǒng)在面對這情況時，信息的過濾能力也有限，因為傳統(tǒng)的系統(tǒng)只會根據(jù)用戶輸入的查詢關(guān)鍵詞來搜索相關(guān)信息以及過濾無關(guān)信息，并不會過多的考慮用戶的興趣趨向，所以準(zhǔn)確信息依然需要用戶自行進(jìn)行篩選來得到。個性化搜

2、索引擎系統(tǒng)的研究可以根據(jù)用戶的瀏覽記錄分析用戶的興趣，并根據(jù)用戶的興趣來調(diào)整搜索結(jié)果的排序，將用戶從繁瑣的信息篩選中解救出來。于是，高效的智能化個性化搜索引擎系統(tǒng)的研究變成了一個必不可少的研究項目。
　　目前，具有個性化的搜索引擎系統(tǒng)平臺很少，其主要原因是由于針對網(wǎng)頁特征詞向量的提取面臨語義和語境的困難，難以找到一個方法可以提取一組詞來代表網(wǎng)頁內(nèi)容的中心思想，或者提取結(jié)果和其它網(wǎng)頁相比很難有所區(qū)別，所以不能有效實行；用戶興趣模型的

3、建立方法需在大量數(shù)據(jù)分析的基礎(chǔ)上進(jìn)行，不僅需要依靠不斷積累數(shù)據(jù)來實時更新調(diào)整且需要謹(jǐn)慎選擇一個合理并有效的分析建模算法才能保證用戶興趣模型的預(yù)測質(zhì)量。這些都是個性化搜索引擎系統(tǒng)平臺在個性化搜索研究過程中面臨的一些可能和挑戰(zhàn)。因此，本文結(jié)合個性化研究現(xiàn)狀，研究開發(fā)一個基于Nutch+Lucene的個性化系統(tǒng)，具有其現(xiàn)實意義。
　　本文的主要內(nèi)容將會建立在數(shù)據(jù)爆炸式增長以及大數(shù)據(jù)分析技術(shù)逐漸成熟的環(huán)境下，以分析傳統(tǒng)搜索引擎對互聯(lián)網(wǎng)的貢

4、獻(xiàn)和對大數(shù)據(jù)環(huán)境力不從心現(xiàn)狀的基礎(chǔ)上，指出現(xiàn)今存在為數(shù)不多的個性化搜索引擎的發(fā)展以及存在的不足，并根據(jù)這些不足之地提出本文的改進(jìn)思想內(nèi)容，調(diào)整網(wǎng)頁內(nèi)容的特征詞向量提取技術(shù)，用戶興趣模型的建立和搜索結(jié)果的個性化排序算法來優(yōu)化系統(tǒng)的個性化服務(wù)的功能。主要工作如下：
　　首先，回顧了目前網(wǎng)頁內(nèi)容特征詞向量提取算法和技術(shù)的研究情況，根據(jù)TF-IDF算法在特征提取過程中的應(yīng)用情況，提出一種結(jié)合位置權(quán)重的網(wǎng)頁內(nèi)容特征提取和度量算法，這種算法的

5、提取結(jié)果更符合實際情況，更能代表整篇網(wǎng)頁的中心思想。該提取算法先將網(wǎng)頁內(nèi)容根據(jù)所在位置分成TITLE，META，CONTENT三個部分，然后再分別進(jìn)行分詞并統(tǒng)計各個位置上出現(xiàn)的詞及其出現(xiàn)頻率，分配這三個位置的權(quán)值，并根據(jù)權(quán)值調(diào)整了三個位置上各個詞的頻次。最后應(yīng)用TF-IDF算法來計算各個詞的權(quán)重，且根據(jù)詞的權(quán)重進(jìn)行從大到小的排序并提取前n個特征詞，得到最終的網(wǎng)頁特征詞向量。
　　其次，針對目前關(guān)于用戶興趣模型建立較為困難和復(fù)雜的問

6、題，研究并設(shè)計一個功能強大的個性化搜索引擎，實現(xiàn)搜索引擎系統(tǒng)的個性化功能。對系統(tǒng)用戶興趣模型建立的過程，利用提取互聯(lián)網(wǎng)頁的特征詞向量進(jìn)行網(wǎng)頁分類，并根據(jù)用戶的瀏覽歷史分析和計算用戶對各個類別網(wǎng)頁的傾向程度，最后使用由類別及其所占興趣程度構(gòu)成的向量來記錄和表示用戶的興趣模型，并用這個模型來預(yù)測用戶的興趣趨向和行為模型，以此來成為提供個性化服務(wù)的依托。
　　再者，在系統(tǒng)基礎(chǔ)搜索結(jié)果的基礎(chǔ)上，擬合用戶獨一無二的興趣模型，根據(jù)模型預(yù)測的興