分布式全文檢索系統(tǒng)中索引平臺和信息過濾的研究與應(yīng)用.pdf

1、隨著網(wǎng)絡(luò)時代的飛速發(fā)展，數(shù)據(jù)和信息充斥著社會生活的各個領(lǐng)域。人們的日常行為逐漸和網(wǎng)絡(luò)密不可分，人們利用網(wǎng)絡(luò)獲取新聞、進行社交活動和即時通訊，發(fā)送和記錄工作文檔等，這些行為產(chǎn)生的數(shù)據(jù)都被存儲在網(wǎng)絡(luò)中。由于網(wǎng)絡(luò)和大數(shù)據(jù)帶來的變革，人們?nèi)粘＋@取的信息量在急速增加，人們獲取信息的方式也更為復(fù)雜和多樣。分布式計算技術(shù)和全文檢索技術(shù)是應(yīng)對大數(shù)據(jù)洪流的有效工具，前者能夠負載海量數(shù)據(jù)，后者能夠在大規(guī)模數(shù)據(jù)中快速檢索到有用信息。
　　本文的研究背景

2、是分布式全文檢索系統(tǒng)，該系統(tǒng)針對海量多格式文件進行存儲并支持快速文本檢索。系統(tǒng)采用分布式架構(gòu)設(shè)計，能夠并發(fā)完成文件預(yù)處理、建立索引及存儲功能，并將文件存儲在分布式文件系統(tǒng)中。分布式全文檢索系統(tǒng)包含如下結(jié)構(gòu):文件預(yù)處理前端、分布式索引平臺、分布式文件存儲系統(tǒng)、索引管理平臺和web檢索平臺。其中，文件預(yù)處理前端和分布式索引平臺協(xié)同完成對大規(guī)模多格式文件中文本內(nèi)容的索引任務(wù);索引管理平臺和web檢索平臺協(xié)同完成對索引文件的管理和檢索任務(wù);分布

3、式文件存儲系統(tǒng)負責(zé)為系統(tǒng)中的各個模塊提供文件存儲和管理支持。
　　本文主要設(shè)計并實現(xiàn)了分布式全文檢索系統(tǒng)中的分布式索引平臺，索引平臺基于Hadoop分布式計算庫構(gòu)建，實現(xiàn)了對海量文本文檔并發(fā)建立索引。本文提出了索引平臺的基本架構(gòu)，闡述了索引平臺的分布式計算過程、索引平臺中的共享與并發(fā)機制和索引評分機制等。本文還設(shè)計實現(xiàn)了文件預(yù)處理前端中的信息過濾模塊，信息過濾模塊可實現(xiàn)基于關(guān)鍵詞的文檔過濾功能，識別系統(tǒng)不需要處理的文檔。信息過濾模