面向Lucene的中文分詞器研究與應(yīng)用.pdf

1、自然語言處理是計算機科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個重要方向，廣泛用于源自郵件、音頻、文件、網(wǎng)頁、論壇、社交媒體中的數(shù)據(jù)分析與應(yīng)用，分詞技術(shù)是自然語言處理的關(guān)鍵技術(shù)之一，是搜索引擎、文字摘要、內(nèi)容比對等領(lǐng)域的基礎(chǔ)技術(shù)。在處理人大代表提出的議案建議時，需要歸并內(nèi)容相似的議案建議以及剔除往年已辦理過的類似議案建議，以提高政府工作效率和人大代表履職能力，在進(jìn)行內(nèi)容分析挖掘時首先就需要分詞。目前存在的主要問題是如何根據(jù)實際需求設(shè)計合適的中文分詞器

2、。
　　開源工具包Lucene被廣泛應(yīng)用在索引與檢索項目中實現(xiàn)分詞，但隨著應(yīng)用的要求越來越高，依賴于Lucene的分詞器已經(jīng)不能滿足實際的需求了，出現(xiàn)了一些開源中文分詞器。本文面向人大代表議案建議相似度檢測需要，對Lucene的內(nèi)置中文分詞器與開源中文分詞器進(jìn)行對比研究，選擇相對優(yōu)秀的IKAnalyzer分詞器作為本文的應(yīng)用分詞器，并提出了改進(jìn)方法。主要研究內(nèi)容如下：
　　（1）比較Lucene內(nèi)置的幾種中文分詞器，選擇支持

3、中文分詞最好的SmartChineseAnalyzer分詞器為比較對象之一；
　?。?）對比分析Paoding、mmseg4j、IKAnalyzer、imdict-chinese-analyzer這四種開源中文分詞器，選擇IKAnalyzer分詞器作為研究對象；
　?。?）優(yōu)化IKAnalyzer中文分詞器，擴展其詞庫和調(diào)優(yōu)存儲字典樹的結(jié)構(gòu)的性能參數(shù)實現(xiàn)空間和時間的最優(yōu)平衡來達(dá)到分詞效果更好的目的；
　　（4）將Sma