基于特征提取的文本相似性判別方法研究與應(yīng)用.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展和計(jì)算機(jī)性能的不斷提高，機(jī)械化生產(chǎn)、網(wǎng)絡(luò)辦公和網(wǎng)上娛樂等各種工業(yè)和生活應(yīng)用得到快速普及，積累了大量的歷史數(shù)據(jù)。這些看似簡單的實(shí)時(shí)存儲(chǔ)信息，蘊(yùn)藏著許多具有指導(dǎo)意義的未知知識(shí)，充分利用好這些數(shù)據(jù)的潛在價(jià)值能夠有效幫助企業(yè)提高辦公效率、節(jié)約生產(chǎn)成本、實(shí)現(xiàn)利益最大化。近年來信息處理技術(shù)不斷走向成熟，一些改進(jìn)的文本挖掘方法、特征提取方法和相似性判別算法被許多學(xué)者提出，并取得一定成果。但這些方法基本都是針對(duì)特定應(yīng)用領(lǐng)域開展的研

2、究實(shí)現(xiàn)，應(yīng)用范圍相對(duì)較小，尤其是在中文信息處理領(lǐng)域，限于中文語言特點(diǎn)，一種算法在另一領(lǐng)域應(yīng)用的適應(yīng)性比較差，新應(yīng)用需要研究新的方法達(dá)成基本目標(biāo)。針對(duì)目前信息處理算法的局限性，本文提出了基于多種特征屬性提取的文本相似性判別思想。
　　 基于多特征的文本相似性判別方法是在傳統(tǒng)中文信息處理技術(shù)的基礎(chǔ)上，通過提取文本詞條的多種特征屬性，針對(duì)待處理文本的數(shù)據(jù)結(jié)構(gòu)和領(lǐng)域應(yīng)用特點(diǎn)，抽取合適的特征值進(jìn)行的中文文本的相似性判別，對(duì)于提高判定結(jié)果的

3、準(zhǔn)確性和方法的靈活適應(yīng)性具有重要意義。
　　 本文研究了目前提出的各種經(jīng)典特征提取方法和相似性計(jì)算模型，結(jié)合文本的結(jié)構(gòu)特點(diǎn)，基于詞頻屬性分析了部分特征提取方法在相似性判別中的作用。基于多特征提取的領(lǐng)域主題詞表生成和相似性判別是本文的研究核心，通過研究數(shù)據(jù)的結(jié)構(gòu)特點(diǎn)，針對(duì)詞條和文本的分布屬性，本文提出了詞頻分布熵和文本分布熵兩種新的特征提取方法;結(jié)合TF-IDF特征屬性、Pearson相關(guān)系數(shù)和詞條分布權(quán)值等特征提取方法，研究提出

4、了用于規(guī)范化表示文本多特征屬性內(nèi)容的二維特征集合;設(shè)計(jì)了領(lǐng)域主題詞表構(gòu)成和文本相似性判別的總體架構(gòu)和工作流程，以經(jīng)濟(jì)領(lǐng)域?yàn)槔?，?shí)現(xiàn)了領(lǐng)域主題詞表的構(gòu)成，并進(jìn)行了相似性判別實(shí)驗(yàn)，驗(yàn)證了多特征屬性提取判別方法的有效性。
　　 基于多特征屬性提取的文本相似性判別方法基本滿足中文信息處理技術(shù)的普適性要求，為企業(yè)開發(fā)不同領(lǐng)域應(yīng)用提供了靈活的計(jì)算手段，能夠進(jìn)一步提高信息處理的應(yīng)用效果，為企業(yè)節(jié)省開發(fā)成本。因此，基于多特征提取的文本相似性判別