面向海量實(shí)時(shí)數(shù)據(jù)信息檢索系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著信息產(chǎn)業(yè)的迅速發(fā)展,信息檢索技術(shù)也日益成熟并得到了越來(lái)越廣泛的應(yīng)用.另一方面由于缺乏有效的管理手段,導(dǎo)致互聯(lián)網(wǎng)上不良信息泛濫.為此,該文的研究工作是對(duì)一個(gè)現(xiàn)有的信息檢索系統(tǒng)——GONIA進(jìn)行改造,使之能面向網(wǎng)絡(luò)海量實(shí)時(shí)數(shù)據(jù)環(huán)境,從而為互聯(lián)網(wǎng)信息管理提供有效的技術(shù)支持.GONIA是CERNET華東北地區(qū)網(wǎng)絡(luò)中心早年開(kāi)發(fā)的一個(gè)分布式信息檢索原型系統(tǒng),要將其應(yīng)用到海量實(shí)時(shí)數(shù)據(jù)環(huán)境,要解決的關(guān)鍵問(wèn)題集中在性能方面.該文通過(guò)排隊(duì)論、數(shù)據(jù)挖掘等

2、理論和雙緩存、單鏈接、聚類(lèi)等算法,對(duì)GONIA的內(nèi)部算法進(jìn)行了系統(tǒng)的分析和更新,并對(duì)數(shù)據(jù)分布存儲(chǔ)策略進(jìn)行了改良,使之可以適應(yīng)于海量實(shí)時(shí)數(shù)據(jù)環(huán)境.該文第一章闡述了相關(guān)的工作背景.說(shuō)明了論文研究工作的目的是為了利用信息檢索技術(shù)來(lái)管理網(wǎng)絡(luò)信息,從而使互聯(lián)網(wǎng)能夠更好、更健康地發(fā)展.第二章介紹了該文工作的基礎(chǔ)—GONIA系統(tǒng).GONIA系統(tǒng)的核心技術(shù)非常成熟,但不適合海量實(shí)時(shí)數(shù)據(jù)環(huán)境.在第三章主要討論了對(duì)GONIA系統(tǒng)的改進(jìn).為了使得系統(tǒng)能夠處理

3、實(shí)時(shí)數(shù)據(jù)的搜集,系統(tǒng)引進(jìn)了尺寸可調(diào)節(jié)的雙緩存用來(lái)平滑系統(tǒng)入流量的隨機(jī)性;為了使得系統(tǒng)能夠處理海理數(shù)據(jù)的查詢(xún),該系統(tǒng)通過(guò)兩段向量聚類(lèi)算法構(gòu)造的聚類(lèi)樹(shù)為查詢(xún)模塊提供索引,這也是該系統(tǒng)的核心思想;在實(shí)際中發(fā)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)中垃圾郵件的比重比較大,因此該系統(tǒng)引入了一個(gè)重要的應(yīng)用:群發(fā)郵件甄別模塊,該模塊和聚類(lèi)模塊相互合作、相互促進(jìn)性能.第四章詳細(xì)闡述了系統(tǒng)的實(shí)現(xiàn).首先在GONIA的系統(tǒng)構(gòu)架上作了新的數(shù)據(jù)分發(fā)和數(shù)據(jù)分布的策略,然后介紹了該系統(tǒng)的各個(gè)模塊