聊天語言環(huán)境下關(guān)鍵詞提取算法的研究和實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)聊天軟件越來越深入人們的日常生活，通過網(wǎng)絡(luò)聊天產(chǎn)生了海量的聊天數(shù)據(jù)。如果能充分利用這些聊天數(shù)據(jù)，可以帶來經(jīng)濟(jì)效益和社會(huì)效益。關(guān)鍵詞的提取工作就是在海量的聊天數(shù)據(jù)中，通過提取和分析關(guān)鍵詞，挖掘出有價(jià)值的東西。而人工提取關(guān)鍵詞是一項(xiàng)繁重的工作，需要研究自動(dòng)關(guān)鍵詞提取方法。不同于普通的書面文本，聊天文本作為一種接近口語化的文本，有自己的特點(diǎn)。對(duì)于這種文本，傳統(tǒng)的普通書面文本關(guān)鍵詞提取算法不能直接應(yīng)用于聊天語言環(huán)境中，需要在對(duì)聊天語言充

2、分研究分析的基礎(chǔ)上，提出基于聊天語言的關(guān)鍵詞提取算法。文中結(jié)合聊天語言的特征，改進(jìn)基于普通文本的關(guān)鍵詞提取方法，研究并實(shí)現(xiàn)聊天語言環(huán)境中關(guān)鍵詞提取方法。論文的主要工作如下：
　　 1.研究聊天語言特征和分詞過濾規(guī)則，首先分析聊天語言的形成和使用，然后分析聊天語言的特點(diǎn)和類型，在此基礎(chǔ)上提出分詞方法和過濾規(guī)則。
　　 2.研究聊天語言中關(guān)鍵詞的表示，首先從語義角度分析候選詞的特征，將同義詞詞林中詞語構(gòu)建方法引入聊天語言環(huán)境

3、中，并加以改進(jìn)。研究基于同義詞詞林的詞語語義分析和計(jì)算方法，分析關(guān)鍵詞的影響因素及權(quán)值之間相對(duì)關(guān)系和表示，并據(jù)此得到關(guān)鍵詞的總權(quán)值表示。
　　 3.設(shè)計(jì)聊天語言中關(guān)鍵詞的提取算法，首先分析關(guān)鍵詞的提取過程，然后根據(jù)關(guān)鍵詞的權(quán)值表示方法得到關(guān)鍵詞的提取算法，并對(duì)算法的復(fù)雜度進(jìn)行分析。在上面工作的基礎(chǔ)上，實(shí)現(xiàn)關(guān)鍵詞提取算法，并通過實(shí)驗(yàn)驗(yàn)證聊天語言環(huán)境中的關(guān)鍵詞提取方法的有效性。從召回率，精確度，F(xiàn)1值等角度與人工和其它的關(guān)鍵詞提取方