基于內(nèi)容與結(jié)構(gòu)的文本挖掘方法及其分布式應(yīng)用研究.pdf

1、在當(dāng)今信息爆炸的時(shí)代，海量數(shù)據(jù)不斷涌現(xiàn)，而且這些數(shù)據(jù)仍在以每三個(gè)月增長(zhǎng)一倍的速度持續(xù)增長(zhǎng)著。因此，如果不借助有效的信息挖掘方法，這些異構(gòu)海量數(shù)據(jù)將可能最終變成無(wú)人關(guān)注的數(shù)據(jù)垃圾。全文檢索技術(shù)能高效的存儲(chǔ)和管理這些異構(gòu)海量數(shù)據(jù)。
　　盡管全文檢索引擎秉承了優(yōu)良的架構(gòu)，但在檢索性能上還存在不足之處。針對(duì)全文檢索引擎默認(rèn)的相似性評(píng)分算法只考慮詞頻特征以及全文檢索引擎現(xiàn)有檢索精度較低這一缺陷，本文將分別從基于內(nèi)容和基于結(jié)構(gòu)這兩個(gè)方面對(duì)現(xiàn)有

2、的全文檢索引擎進(jìn)行改進(jìn)?；谖臋n內(nèi)容，本文從改進(jìn)默認(rèn)的相似性評(píng)分算法的角度出發(fā)，通過(guò)考慮查詢?cè)~條在文檔中的距離特征以改進(jìn)全文檢索的精確度和召回率。通常一篇文本文檔只有一個(gè)主旨主題，且文檔作者通常會(huì)以這一主旨主題為核心并從多個(gè)子主題或多個(gè)角度進(jìn)行展開，基于這樣的事實(shí)，本文從文檔本身的結(jié)構(gòu)特性出發(fā)，通過(guò)全面把握文檔中各個(gè)局部意義單元及其之間的相互關(guān)系，使得改進(jìn)的全文檢索引擎在檢索結(jié)果上具有更好的用戶體驗(yàn)和針對(duì)性。因此通過(guò)考慮文本數(shù)據(jù)的距離特

3、征和物理結(jié)構(gòu)，并借此研究針對(duì)文本數(shù)據(jù)在分布式全文檢索平臺(tái)上的應(yīng)用必將是一項(xiàng)非常有意義的研究探索。
　　本文對(duì)基于內(nèi)容與結(jié)構(gòu)的文本挖掘方法及其分布式應(yīng)用進(jìn)行的主要研究工作如下：
　　1、提出一種基于分詞距離特征的句子相似度計(jì)算模型。首先，對(duì)查詢串和文檔進(jìn)行數(shù)據(jù)預(yù)處理。其次，通過(guò)在文檔中標(biāo)識(shí)關(guān)鍵詞和查詢?cè)~條的位置，從而實(shí)現(xiàn)查詢?cè)~條與關(guān)鍵詞之間分詞距離的計(jì)算，進(jìn)而得出查詢串和整篇文檔的相似性評(píng)分。最后，將本文提出的算法應(yīng)用到全文檢

4、索引擎默認(rèn)的相似性評(píng)分算法中，并使用MAP，P@n指標(biāo)進(jìn)行評(píng)估。
　　2、優(yōu)化文本分割算法并將其分割得到的主題分片應(yīng)用到一種能夠提高精確度和查全率的檢索模式中。首先對(duì)傳統(tǒng)文本分割算法TextTiling進(jìn)行優(yōu)化和改進(jìn)。其次，利用改進(jìn)的文本分割算法對(duì)文檔進(jìn)行切割操作得到主題分片集合。最后，通過(guò)在全文檢索過(guò)程中考慮子主題結(jié)構(gòu)特征以期改善信息檢索的性能和用戶體驗(yàn)。
　　3、將改進(jìn)的算法應(yīng)用到分布式全文檢索平臺(tái) SolrCloud中