分布式垂直搜索引擎在ERMS中的研究與應(yīng)用.pdf

1、ERMS（電子文檔管理系統(tǒng)）為當前企業(yè)或政府部門的海量電子文檔進行全生命周期的管理提供了很好的解決方案，其中對海量電子文檔的搜索和查找是ERMS中的核心功能。通常，ERMS使用了搜索引擎技術(shù):在文件登記后對電子文件進行索引，用戶就能查詢到相應(yīng)的電子文件;當文件銷毀時，索引庫中對應(yīng)電子文件的索引項被刪除，用戶就無法查詢到對應(yīng)的電子文件。由于系統(tǒng)中的電子文件的數(shù)量呈現(xiàn)指數(shù)級的增長，為了能夠處理海量數(shù)據(jù)及改善搜索的準確性，本文采用了分布式搜索

2、技術(shù)，同時利用樸素貝葉斯分類算法對待索引文檔進行自動分類，并結(jié)合Solr的切面技術(shù)，實現(xiàn)了垂直搜索。
　　論文利用搜索引擎技術(shù)，基于ERMS系統(tǒng)，設(shè)計和實現(xiàn)了分布式垂直搜索引擎。當ERMS系統(tǒng)對電子文件進行登記歸檔時，首先基于樸素貝葉斯算法，對電子文件進行自動分類;電子文件分類完畢后，根據(jù)電子文件所屬類別，基于一致性哈希算法對電子文件進行分布式索引，索引的內(nèi)容包括電子文件的重要元數(shù)據(jù)和電子文件包含的電子文檔的相關(guān)元數(shù)據(jù);索引文件建

3、立完畢后，用戶可以輸入查詢語句進行電子文件的查詢，具體實現(xiàn)采用了開源搜索工具Solr的分發(fā)(shard)模式，將查詢請求分發(fā)到分布式節(jié)點，各個分布式節(jié)點響應(yīng)搜索請求，然后對結(jié)果進行合并去重，排序好返回給用戶。從系統(tǒng)的穩(wěn)定性出發(fā)，主要考慮了如下兩個方面進行系統(tǒng)優(yōu)化:一是高并發(fā)請求處理方面，主要對分布式節(jié)點進行優(yōu)化，同時引入了負載均衡，使系統(tǒng)能夠快速處理高并發(fā)情況下的用戶請求;二是系統(tǒng)容災(zāi)方面，采用了主-從(master-slave)架構(gòu)，