個(gè)性化信息檢索系統(tǒng)中文本聚類的研究.pdf

1、隨著互聯(lián)網(wǎng)發(fā)展和普及,“檢索”已經(jīng)成為人們生活中的一部分?；ヂ?lián)網(wǎng)已經(jīng)把全世界連在了一起,如何從浩瀚的信息海洋中找到自己想要的東西呢,答案就是“檢索”。
　　 在眾多檢索系統(tǒng)中,對(duì)于學(xué)術(shù)研究最有用的當(dāng)屬文獻(xiàn)檢索了,但是當(dāng)前的文獻(xiàn)檢索系統(tǒng)大都只能進(jìn)行關(guān)鍵字匹配的檢索,抓不住用戶的興趣,如果檢索系統(tǒng)能夠獲取用戶的興趣,就可以使用戶在一次又一次的檢索中會(huì)發(fā)現(xiàn)自己想要的文獻(xiàn)總是能出現(xiàn)在排序的最前面,肯定大大方便了用戶,使其對(duì)所使用的檢索系

2、統(tǒng)大家贊賞并決定長(zhǎng)期使用,這無(wú)論對(duì)用戶還是檢索平臺(tái)都是大有益處的。
　　 本著以上的思想,本小組開(kāi)始制作這樣一個(gè)檢索系統(tǒng),它能通過(guò)用戶的檢索行為來(lái)獲取用戶的興趣,并將興趣相似的用戶組成用戶組,以方便用戶的交流,共享資源。本文討論的是我們小組所做的檢索系統(tǒng)中的基礎(chǔ)部分,包括文本預(yù)處理,對(duì)文本向量進(jìn)行聚類構(gòu)建系統(tǒng)底層部分。本人的工作具體是完成了文本處理程序可以對(duì)文獻(xiàn)進(jìn)行預(yù)處理,它可以將分詞后的文本轉(zhuǎn)化為向量；可以對(duì)題目、關(guān)鍵詞、摘要

3、加權(quán),并調(diào)整其權(quán)重；可以按詞性提取特征；完成對(duì)其停用詞表的控制；程序可以生成文檔頻數(shù),tfidf的特征向量,支持向量機(jī)的特征向量等多種特征向量。并且在隨后聚類試驗(yàn)中,改進(jìn)Ap[1](Affinity propagationclustering)聚類,使其獲得更好的聚類結(jié)果。
　　 AP聚類有一個(gè)優(yōu)點(diǎn),就是如果使用者不知道數(shù)據(jù)的類數(shù),不用指定類數(shù)也可以很好的進(jìn)行分類,但是有時(shí)侯我們知道類數(shù),那么我們?cè)趺茨芴岣叻诸惖男Ч?本篇論文