行業(yè)文獻自動分析系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、數(shù)字化時代的發(fā)展使得大量信息涌現(xiàn)在人們面前，尤其是通過網(wǎng)絡(luò)傳播的電子信息。人們開始面臨這樣一個問題：信息利用率低，快速瀏覽海量信息難。如何快速有效的從大量信息中獲取可用數(shù)據(jù)開始變得重要。實際上，人們無法通過閱讀所有的電子信息來獲取需要的信息進行分析，傳統(tǒng)的信息獲取技術(shù)只是簡單的、非智能的查找，迫切需要信息壓縮提煉工具來高效獲取信息。而隨著文本挖掘技術(shù)的發(fā)展，人們擁有了更多的信息獲取方法和途徑，尤其是文本解析、碎片化和信息檢索技術(shù)。

2、>　　本文所闡述的行業(yè)文獻自動分析系統(tǒng)就是以文本挖掘主流程為主線來進行設(shè)計實現(xiàn)的，論文提出了使用pdf2htmlEX碎片化PDF文檔的方案；采用tesseract-OCR解決其不能解析圖片文字的限制；并通過對文本集進行解析、分詞處理、結(jié)構(gòu)化分析和存儲，最后實現(xiàn)了關(guān)鍵字抽取和帶標注瀏覽。本文的研究重點側(cè)重于文本解析、中文分詞、信息檢索和關(guān)鍵字提取技術(shù)上，系統(tǒng)采用兼容了MyEclipse的EOS開發(fā)平臺開發(fā)，構(gòu)建的主要模塊有：文本管理模塊、

3、文本解析模塊、文本分析模塊和展示模塊。最終得到一個關(guān)鍵字列表，用戶可檢索或直接在列表中點擊瀏覽文獻。
　　本文對文本挖掘技術(shù)做了一定程度的總結(jié)歸納，對文檔解析技術(shù)做了較為細致的研究；對目前流行的JAVA中文分詞器做了對比實驗并得出了相關(guān)結(jié)論；并對它們與Lucene的兼容性能做了比較實驗和分析；對Ansj分詞器和Lucene實現(xiàn)的關(guān)鍵字提取做了對比分析。本系統(tǒng)通過對PDF文件的解析，抽取PDF文本信息，通過結(jié)構(gòu)分析和碎片化、分詞索引