面向海量實時數據信息檢索系統的研究與實現.pdf

1、隨著信息產業(yè)的迅速發(fā)展,信息檢索技術也日益成熟并得到了越來越廣泛的應用.另一方面由于缺乏有效的管理手段,導致互聯網上不良信息泛濫.為此,該文的研究工作是對一個現有的信息檢索系統——GONIA進行改造,使之能面向網絡海量實時數據環(huán)境,從而為互聯網信息管理提供有效的技術支持.GONIA是CERNET華東北地區(qū)網絡中心早年開發(fā)的一個分布式信息檢索原型系統,要將其應用到海量實時數據環(huán)境,要解決的關鍵問題集中在性能方面.該文通過排隊論、數據挖掘等

2、理論和雙緩存、單鏈接、聚類等算法,對GONIA的內部算法進行了系統的分析和更新,并對數據分布存儲策略進行了改良,使之可以適應于海量實時數據環(huán)境.該文第一章闡述了相關的工作背景.說明了論文研究工作的目的是為了利用信息檢索技術來管理網絡信息,從而使互聯網能夠更好、更健康地發(fā)展.第二章介紹了該文工作的基礎—GONIA系統.GONIA系統的核心技術非常成熟,但不適合海量實時數據環(huán)境.在第三章主要討論了對GONIA系統的改進.為了使得系統能夠處理

3、實時數據的搜集,系統引進了尺寸可調節(jié)的雙緩存用來平滑系統入流量的隨機性;為了使得系統能夠處理海理數據的查詢,該系統通過兩段向量聚類算法構造的聚類樹為查詢模塊提供索引,這也是該系統的核心思想;在實際中發(fā)現網絡數據中垃圾郵件的比重比較大,因此該系統引入了一個重要的應用:群發(fā)郵件甄別模塊,該模塊和聚類模塊相互合作、相互促進性能.第四章詳細闡述了系統的實現.首先在GONIA的系統構架上作了新的數據分發(fā)和數據分布的策略,然后介紹了該系統的各個模塊