LUCENE中文分詞在科研文檔全文檢索系統(tǒng)的應(yīng)用研究.pdf

1、如何快速有效地從海量的信息資源中找到自己所需要的資源，已經(jīng)成為人們越來越重視的問題。全文檢索技術(shù)即是可以解決這個問題的主要技術(shù)。
　　 目前廣泛使用的全文檢索技術(shù)是Lucene工具包。Lucene是一個開源的全文檢索引擎組件，在此基礎(chǔ)上可以方便地對其進行二次開發(fā)來實現(xiàn)全文檢索系統(tǒng)。但是Lucene仍有許多不足的地方需要進行改進，特別是在中文分詞的處理上。由于中文分詞質(zhì)量的準(zhǔn)確與否，將直接影響到用戶對搜索結(jié)果的滿意度，因此中文分詞

2、技術(shù)在全文檢索系統(tǒng)中尤為重要，也是本文研究的關(guān)鍵內(nèi)容。
　　 論文首先闡述了Lucene全文檢索的相關(guān)技術(shù)，闡述了現(xiàn)有的中文分詞方法，然后分析了Lucene的兩個分析器ChineseAnalyzer和CJKAnalyzer的不足，并提出了基于詞典的雙向最大匹配分詞算法；分析了Lucene對于文檔格式支持的局限性，提出了一個通用的文本解析框架。
　　 論文的主要工作是分析設(shè)計并實現(xiàn)了一個基于Lucene的科研文檔全文檢索系

3、統(tǒng)。分析了系統(tǒng)的總體架構(gòu)和功能模塊，對系統(tǒng)進行了總體設(shè)計和詳細(xì)設(shè)計。針對科研文檔格式的多樣性，構(gòu)建了文本解析模塊，可以對多格式文檔進行解析。系統(tǒng)的中文分析器采用改進的中文分詞算法實現(xiàn)。對文本解析模塊、中文分析器和系統(tǒng)的性能進行實驗分析，通過實驗證明，中文分析器的分詞效果非常顯著，系統(tǒng)的查全率和查準(zhǔn)率都達到了用戶的滿意度。
　　 最后，論文對基于Lucene的科研文檔全文檢索系統(tǒng)進行了分析，總結(jié)了本文取得的成果，并對未來進一步的工