文本相似性度量中參數(shù)相關(guān)性與優(yōu)化配置研究.pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)及應(yīng)用技術(shù)的飛速發(fā)展,Internet成為信息存儲(chǔ)和交流的主要渠道,但同時(shí)也引發(fā)了信息爆炸式增長(zhǎng)的災(zāi)難,因此數(shù)據(jù)挖掘、信息檢索和文本分類等信息處理技術(shù)應(yīng)運(yùn)而生,作為這些信息處理技術(shù)的基礎(chǔ),文本相似性度量技術(shù)有著深刻的研究意義和廣泛的應(yīng)用前景。
　　 本文針對(duì)文本相似性度量中的相似度閾值、準(zhǔn)確率、召回率、shingle滑動(dòng)窗口大小、shingle權(quán)重門限、shingle抽取率和文本屬性等參數(shù)相互影響、關(guān)系復(fù)雜的問題,

2、首先以文本相似性度量的實(shí)現(xiàn)過程為線索,對(duì)文本數(shù)學(xué)表示、特征生成、特征選擇和相似度計(jì)算等關(guān)鍵技術(shù)進(jìn)行了詳細(xì)的分析；在此分析基礎(chǔ)上實(shí)現(xiàn)并比較了兩種最具典型性的文本相似性度量算法:基于特征向量的算法和基于shingle的算法；然后結(jié)合shingling算法的實(shí)驗(yàn),研究了這些參數(shù)之間的相關(guān)性,最后提出了shingle滑動(dòng)窗口大小、shingle權(quán)重門限和相似度閾值等參數(shù)可優(yōu)化配置的建議,分析與設(shè)計(jì)了相似度閾值等參數(shù)可適應(yīng)的相似性度量算法。