基于UIMA的內(nèi)容搜索.pdf

1、由于互聯(lián)網(wǎng)迅猛發(fā)展和普及,電子文本信息迅速膨脹,如何有效地組織和管理這些信息,并快速、準(zhǔn)確、全面地從中找到用戶所需要的信息是當(dāng)前信息科學(xué)和技術(shù)領(lǐng)域面臨的一大挑戰(zhàn)。本論文正是在搜索引擎的應(yīng)用背景下探索信息檢索效果的提高下產(chǎn)生的。其中,文本分類(lèi)作為信息檢索的關(guān)鍵技術(shù),可以在較大程度上解決信息雜亂現(xiàn)象的問(wèn)題,方便用戶準(zhǔn)確地定位所需的信息和分流信息。本論文采用在UIMA(UnstructuredInformationManagementArch

2、itecture,非結(jié)構(gòu)化信息管理架構(gòu))框架下使用分類(lèi)算法實(shí)現(xiàn)文本分類(lèi)的高精度。該框架可以分辨出文本和其他非結(jié)構(gòu)性數(shù)據(jù)中的語(yǔ)義,它超越了目前大多數(shù)搜索引擎所使用的關(guān)鍵詞搜索方式,從而簡(jiǎn)化了分析非結(jié)構(gòu)化媒體對(duì)象的系統(tǒng)的開(kāi)發(fā)和部署,可以用來(lái)提供語(yǔ)義搜索和文本挖掘等功能。它還提供了一種具有標(biāo)準(zhǔn)界面的開(kāi)放軟件框架,以便為任何應(yīng)用添加非結(jié)構(gòu)化的信息分析能力;方便地跨數(shù)個(gè)不同供應(yīng)商將分析軟件工具與端到端的企業(yè)應(yīng)用進(jìn)行集成,這樣加速創(chuàng)建可重新使用的全

3、新分析軟件構(gòu)件。本論文的文本分類(lèi)過(guò)程分為訓(xùn)練階段和測(cè)試階段。訓(xùn)練階段有文本預(yù)處理,包括一般包括去除文檔中的格式標(biāo)記、過(guò)濾非法字符、字母大小寫(xiě)轉(zhuǎn)換、去除停用詞和稀有詞、詞干化處理和中文分詞處理(N-Gram模型)等;特征項(xiàng)選擇和提取,選用了交叉熵作為評(píng)估函數(shù);分類(lèi)模型使用了貝葉斯原理構(gòu)造。測(cè)試階段利用UIMA框架簡(jiǎn)化分析文檔的系統(tǒng)開(kāi)發(fā)和部署,以及使用了它提供語(yǔ)義搜索和文本挖掘的功能的相關(guān)組件,比如Annotator(標(biāo)注器),Common

4、AnalysisSystem(通用分析系統(tǒng)),AnalysisEngine(分析引擎)等;使用訓(xùn)練好的分類(lèi)器對(duì)測(cè)試文檔集進(jìn)行分類(lèi),并用目前比較流行的混淆矩陣進(jìn)行了精度評(píng)估分類(lèi)準(zhǔn)確率。通過(guò)實(shí)驗(yàn)對(duì)影響文本分類(lèi)性能的各種問(wèn)題進(jìn)行深入研究,提出有效的解決或改進(jìn)的方法和技術(shù),使文本分類(lèi)器能夠具有更好的穩(wěn)定性、快速性和準(zhǔn)確性等特性,比如訓(xùn)練樣本集的選擇,跨語(yǔ)種的文本分類(lèi)技術(shù),文本信息過(guò)濾等。通過(guò)實(shí)驗(yàn),在UIMA框架下從非結(jié)構(gòu)化信息文本中提取出結(jié)構(gòu)化