基于Lucene的全文檢索技術(shù)研究與應用.pdf

1、全文檢索技術(shù)是搜索引擎與多項互聯(lián)網(wǎng)技術(shù)結(jié)合的產(chǎn)物，是當代搜索引擎的核心技術(shù)之一。它改變了人們通過抽取事務特性來匹配和檢索的傳統(tǒng)檢索方式，通過自然語言組織檢索項，使得檢索更加人性化，更容易滿足用戶的搜索需求，為用戶提供更加準確的信息。
　　本課題圍繞全文檢索技術(shù)及其在水利技術(shù)標準信息系統(tǒng)中的應用展開了研究開發(fā)。研究了全文檢索關(guān)鍵技術(shù)，包括中英文分詞、文本提取、分詞優(yōu)化、并發(fā)控制、權(quán)重優(yōu)化、索引壓縮原理、并發(fā)環(huán)境下索引安全技術(shù)；分析對

2、比了關(guān)系型數(shù)據(jù)庫與現(xiàn)有全文數(shù)據(jù)庫的特點，以及目前主流的全文檢索系統(tǒng)工具Lucene的基本原理、體系結(jié)構(gòu)、核心組件、工作流程、索引機制與相關(guān)性排序等核心技術(shù)。研究了常見的中文分詞算法與Lucene可擴展的中文分析器。提出了一個基于文件系統(tǒng)的全文檢索系統(tǒng)解決方案，可實現(xiàn)近實時的搜索方法。
　　在理論與技術(shù)研究的基礎(chǔ)上，對陜西省水利技術(shù)標準信息系統(tǒng)進行了二次開發(fā)，應用Lucene全文檢索工具包以及文本提取工具Tika，開發(fā)了一個基于全文

3、檢索的站內(nèi)搜索引擎系統(tǒng)。本系統(tǒng)主要模塊包括：信息提取（含從PDF文件提取、從數(shù)據(jù)庫提取及從其他數(shù)據(jù)源提取）、分詞（含過濾分詞器和中英文分詞器）、索引（含索引管理、索引優(yōu)化及索引安全）、檢索（含查詢分析、加權(quán)處理、高亮處理）、系統(tǒng)管理（含文檔管理、用戶管理以及權(quán)限管理）。
　　本系統(tǒng)建立了水利技術(shù)標準信息的全文索引庫，實現(xiàn)了索引結(jié)構(gòu)優(yōu)化、命中結(jié)果處理等功能，用戶可方便地對系統(tǒng)存儲的所有水利技術(shù)標準文檔進行全文檢索。此外，還實現(xiàn)了大數(shù)