基于自動(dòng)文摘與用戶反饋的個(gè)性化搜索引擎系統(tǒng)的研究與設(shè)計(jì).pdf

1、在信息爆炸的今天,搜索引擎已經(jīng)成為了一種從大量的數(shù)據(jù)信息中發(fā)現(xiàn)、推理知識(shí)的有效工具。但是,傳統(tǒng)的搜索引擎系統(tǒng)存在著對(duì)于不同用戶的同樣查詢會(huì)返回相同結(jié)果的弊端,而且用戶也越來(lái)越迫切地希望系統(tǒng)能返回更高準(zhǔn)確率的結(jié)果。所以,本文將自動(dòng)文摘和用戶反饋技術(shù)引入到傳統(tǒng)的搜索引擎系統(tǒng)中,以此提高系統(tǒng)的精確率。
　　本文通過(guò)分析傳統(tǒng)搜索引擎MG(Managing Gigabytes)系統(tǒng)模型,研究并設(shè)計(jì)了一個(gè)相對(duì)完整的個(gè)性化搜索引擎系統(tǒng)。根據(jù)需求

2、分析,本文把系統(tǒng)分為了文檔處理模塊、聚類模塊、用戶查詢處理模塊、用戶分類模塊、系統(tǒng)反饋模塊、相似度計(jì)算模塊、排序模塊、結(jié)果顯示模塊以及系統(tǒng)評(píng)估模塊。系統(tǒng)首先對(duì)用戶進(jìn)行聚類分析,提取用戶的興趣模型;然后根據(jù)用戶反饋信息,在計(jì)算查詢向量與文檔向量的相似度時(shí),調(diào)整個(gè)性化參數(shù),使查詢結(jié)果更加精確。同時(shí)還對(duì)文檔的特征項(xiàng)約簡(jiǎn)算法進(jìn)行了改進(jìn),首先對(duì)文檔進(jìn)行自動(dòng)文摘處理,其次分析文檔摘要提取特征項(xiàng)集,然后對(duì)特征項(xiàng)按照對(duì)文檔類別的貢獻(xiàn)度進(jìn)行排序,最后在保

3、證精確率的前提下以犧牲完備性來(lái)?yè)Q取特征項(xiàng)的快速收斂。系統(tǒng)還結(jié)合了最小完美哈希函數(shù)與大內(nèi)存存儲(chǔ)技術(shù),降低了倒排文檔字典的存儲(chǔ)空間并且提升了倒排文檔索引的讀取速度。最后通過(guò)建立最小堆數(shù)據(jù)結(jié)構(gòu)對(duì)海量文檔的排序進(jìn)行了空間上的優(yōu)化。
　　通過(guò)理論分析和實(shí)驗(yàn)論證,相比MG搜索引擎系統(tǒng)而言,特征項(xiàng)約簡(jiǎn)算法改進(jìn)后,時(shí)間效率有了一定地提高;倒排文檔索引字典的存儲(chǔ)空間節(jié)省了將近一半;文檔排序算法改進(jìn)后,降低了排序的空間復(fù)雜度;相似度計(jì)算算法改進(jìn)后,對(duì)