基于語義的中文文本預(yù)處理研究.pdf

1、中文文本分類處理的對(duì)象是漢語文本，漢語自然語言復(fù)雜靈活，文本中存在近義、多義等多種復(fù)雜語義關(guān)系，相對(duì)于英文文本而言，中文文本的構(gòu)成特點(diǎn)與特征提取機(jī)制都存在特殊性，但現(xiàn)有的分類對(duì)于中文文本語義方面的研究仍缺乏完善的機(jī)制。因此，基于語義層次對(duì)中文文本分類進(jìn)行研究必將成為中文文本分類的研究趨勢(shì)。
　　 論文針對(duì)中文文本語義信息豐富的特點(diǎn)，對(duì)預(yù)處理過程中的分詞、詞性標(biāo)注及特征提取等進(jìn)行了語義研究。首先分析了中文文本的特點(diǎn)和處理難點(diǎn)及文本

2、分類和預(yù)處理的國內(nèi)外研究現(xiàn)狀；然后提出使用語義知識(shí)庫消除分詞過程中的切分歧義的算法，并利用分詞的語義標(biāo)注信息結(jié)合詞性詞典進(jìn)行詞性標(biāo)注。在特征提取過程中提出利用語義知識(shí)庫所提供的語義概念進(jìn)行概念聚類，降低特征項(xiàng)的空間維度。最后，根據(jù)所提出的語義處理算法設(shè)計(jì)了基于語義的分詞及詞性標(biāo)注系統(tǒng)，對(duì)結(jié)果進(jìn)行實(shí)驗(yàn)分析，并驗(yàn)證語義特征提取方法的有效性。實(shí)驗(yàn)表明本文所提出的基于語義的中文文本預(yù)處理方法能夠解決大部分切分歧義問題，并且能夠有效提高分詞及詞性