基于RBM的搜索引擎.pdf

1、隨著互聯(lián)網(wǎng)及移動(dòng)互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，一方面是用戶(hù)和互聯(lián)網(wǎng)交互的程度不斷加深，越來(lái)越多的用戶(hù)反饋了相當(dāng)多的數(shù)據(jù)，可以從中洞悉到用戶(hù)體驗(yàn)、商業(yè)營(yíng)銷(xiāo)、個(gè)人偏好和通常所說(shuō)的人類(lèi)行為，從而提供更有針對(duì)性的服務(wù)。而另一方面，隨著信息日益豐富，如何能夠使用戶(hù)通過(guò)搜索引擎更為準(zhǔn)確、快速的檢索到需要的信息就成了人們普遍關(guān)注的焦點(diǎn)，針對(duì)搜索引擎的網(wǎng)頁(yè)排序算法的研究就是其中的熱點(diǎn)之一。傳統(tǒng)的搜索引擎是基于網(wǎng)頁(yè)內(nèi)容排序，一些人為了能提高網(wǎng)站排名，達(dá)到吸引更多

2、用戶(hù)的目的，增加很多無(wú)效的內(nèi)容或者使用其它的方式作弊。如何有效的利用用戶(hù)反饋的數(shù)據(jù)來(lái)改善搜索引擎的頁(yè)面排序、防止作弊、提供更為優(yōu)質(zhì)的服務(wù)，就成了本文研究的重點(diǎn)。論文主要研究工作如下：
　　(1)針對(duì)傳統(tǒng)的網(wǎng)頁(yè)排序算法中出現(xiàn)的作弊問(wèn)題，研究提出一種基于受限波爾茲曼機(jī)(Restricted Boltzmann Machines，簡(jiǎn)記為RBM)的網(wǎng)頁(yè)排序算法。該算法有機(jī)結(jié)合了RBM模型的模式識(shí)別能力，利用之前用戶(hù)反饋的信息完成學(xué)習(xí)，調(diào)整

3、 隨著互聯(lián)網(wǎng)及移動(dòng)互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，一方面是用戶(hù)和互聯(lián)網(wǎng)交互的程度不斷加深，越來(lái)越多的用戶(hù)反饋了相當(dāng)多的數(shù)據(jù)，可以從中洞悉到用戶(hù)體驗(yàn)、商業(yè)營(yíng)銷(xiāo)、個(gè)人偏好和通常所說(shuō)的人類(lèi)行為，從而提供更有針對(duì)性的服務(wù)。而另一方面，隨著信息日益豐富，如何能夠使用戶(hù)通過(guò)搜索引擎更為準(zhǔn)確、快速的檢索到需要的信息就成了人們普遍關(guān)注的焦點(diǎn)，針對(duì)搜索引擎的網(wǎng)頁(yè)排序算法的研究就是其中的熱點(diǎn)之一。傳統(tǒng)的搜索引擎是基于網(wǎng)頁(yè)內(nèi)容排序，一些人為了能提高網(wǎng)站排名，達(dá)到吸

4、引更多用戶(hù)的目的，增加很多無(wú)效的內(nèi)容或者使用其它的方式作弊。如何有效的利用用戶(hù)反饋的數(shù)據(jù)來(lái)改善搜索引擎的頁(yè)面排序、防止作弊、提供更為優(yōu)質(zhì)的服務(wù)，就成了本文研究的重點(diǎn)。論文主要研究工作如下
　　(2)針對(duì)用戶(hù)在檢索信息時(shí)，更注重結(jié)果是否與自身需求相吻合的情況，提出基于RBM的個(gè)性化搜索引擎方案。該方案對(duì)帶有用戶(hù)個(gè)性特征的樣本進(jìn)行學(xué)習(xí)，為用戶(hù)個(gè)性化地調(diào)整關(guān)鍵字同頁(yè)面間的相關(guān)系數(shù)。當(dāng)用戶(hù)檢索信息時(shí)，按照調(diào)整后的相關(guān)系數(shù)高低完成排序，滿(mǎn)足

5、用戶(hù)個(gè)性化的需求。
　　(3)針對(duì)本文提出的搜索引擎在網(wǎng)頁(yè)排序及學(xué)習(xí)上需要耗費(fèi)大量時(shí)間等問(wèn)題，研究提出基于并發(fā)的搜索引擎。通過(guò)引入計(jì)算同一設(shè)備架構(gòu)(Compute Unified Device Architecture，簡(jiǎn)記為CUDA)，把RBM模型在網(wǎng)頁(yè)排序和學(xué)習(xí)的工作拆分成多個(gè)步驟，實(shí)現(xiàn)每一個(gè)步驟內(nèi)部的并行計(jì)算；并利用CUDA的流技術(shù)實(shí)現(xiàn)了網(wǎng)頁(yè)排序模塊和學(xué)習(xí)模塊之間并發(fā)執(zhí)行。用仿真技術(shù)對(duì)搜索引擎的排序和學(xué)習(xí)過(guò)程進(jìn)行仿真，并對(duì)仿

6、真結(jié)果進(jìn)行了統(tǒng)計(jì)和分析，結(jié)果表明CUDA能夠?qū)λ阉饕娴倪\(yùn)行提供較好的加速，增加了單位時(shí)間內(nèi)的吞吐量。加快檢索過(guò)程能夠降低用戶(hù)等待的時(shí)間，及時(shí)的學(xué)習(xí)可以更快的反映當(dāng)前用戶(hù)的反饋情況，使結(jié)果更為準(zhǔn)確。
　　在國(guó)內(nèi)對(duì)用戶(hù)反饋的數(shù)據(jù)研究尚有不足的背景下，本文融合了RBM模型與基于用戶(hù)反饋的搜索引擎模型，實(shí)現(xiàn)了基于RBM的網(wǎng)頁(yè)排序算法，建立了基于RBM的搜索引擎模型。論文研究成果對(duì)進(jìn)一步的利用用戶(hù)反饋的數(shù)據(jù)改進(jìn)網(wǎng)頁(yè)排序算法和提供具有針對(duì)性