短文本指紋的研究.pdf

1、21世紀(jì)信息技術(shù)的飛速發(fā)展，帶動了全球信息網(wǎng)絡(luò)化革命的迅猛發(fā)展。全球信息網(wǎng)絡(luò)的普及與共享給人們的日常生活帶來了不小的便捷。除此以外，以因特網(wǎng)為主體的信息高速公路已經(jīng)滲透到社會生活的各個領(lǐng)域，為人類提供了信息共享和交流的現(xiàn)代化通道。
　　移動通信網(wǎng)絡(luò)發(fā)出的手機(jī)短消息、即時通信軟件發(fā)出的即時消息、在線聊天室的聊天記錄、博客評論、新聞評論、BBS標(biāo)題等都產(chǎn)生了數(shù)以萬計(jì)的文本，這些文本長度較短，具有廣泛的外延，我們稱其為短文本。
　

2、　短文本指紋作為驗(yàn)證短文本的唯一標(biāo)識，在短文本研究領(lǐng)域中起到舉足輕重的作用。只有內(nèi)容相同的短文本才具有完全相同的指紋值，同理，具有相同指紋值的短文本，我們可以認(rèn)為這兩個短文本的內(nèi)容是相同的。一旦建立起指紋值和短文本之間的一一對應(yīng)關(guān)系以后，我們就可以利用短文本指紋進(jìn)行一系列的數(shù)據(jù)挖掘工作，例如聚類，去重，去冗余等。
　　本課題首先受到Hownet和Wordnet的啟發(fā)，著重分析概念之間聯(lián)系關(guān)系。通過比較JSON格式和XML格式的優(yōu)劣

3、，提出用JSON格式構(gòu)建概念詞典的可行性，并給出了構(gòu)建概念詞典的算法。為使該詞典具有高效的檢索效率，我們設(shè)計(jì)了概念編碼和索引結(jié)構(gòu)達(dá)到一致對應(yīng)的索引表，使概念得到高效的歸結(jié)。其次，采用了ICTCLAS分詞技術(shù)，使短文本逐步化簡為一個個有效的分詞。其中比較重要的一點(diǎn)是，我們對一些特殊的情況做了一定的處理，例如對數(shù)字、時間、日期、疊詞進(jìn)行拆分和合并，使調(diào)整優(yōu)化后的分詞結(jié)果具有比較高的準(zhǔn)確率。再次，眾所周知，特征值是指定領(lǐng)域中最為核心和本質(zhì)的概