基于詞跨度的中文文本關(guān)鍵詞提取及在文本分類中的應(yīng)用.pdf

1、文本關(guān)鍵詞提取是文本自動(dòng)化處理常用的一項(xiàng)關(guān)鍵技術(shù),若能對(duì)海量的文本資源進(jìn)行關(guān)鍵詞標(biāo)注,并按其歸納整理,可實(shí)現(xiàn)文本資源的高效管理和便捷使用。常用的關(guān)鍵詞提取方法主要是基于統(tǒng)計(jì)的方法,此類方法思想簡(jiǎn)單、便于實(shí)際應(yīng)用。但是,該方法過多地依賴于詞頻統(tǒng)計(jì),因此提取的關(guān)鍵詞中常包含一定量的高頻而非關(guān)鍵的噪聲詞。
　　 本文圍繞文本關(guān)鍵詞提取中的噪聲詞問題,改進(jìn)了傳統(tǒng)的基于統(tǒng)計(jì)的文本關(guān)鍵詞提取方法,以提高算法精度,并將改進(jìn)后的關(guān)鍵詞提取方法應(yīng)

2、用于文本分類的特征降維和特征項(xiàng)權(quán)值計(jì)算中。本文的主要研究?jī)?nèi)容包括:
　　 (1)為了提高文本關(guān)鍵詞提取算法的精度,本文給出了一種基于詞跨度的中文文本關(guān)鍵詞提取方法。該方法在傳統(tǒng)的關(guān)鍵詞提取方法中引入詞跨度概念,借助詞跨度實(shí)現(xiàn)對(duì)噪聲詞的準(zhǔn)確識(shí)別和過濾。實(shí)驗(yàn)結(jié)果顯示:與傳統(tǒng)算法相比,該算法在召回率和準(zhǔn)確率上有了明顯的提高,并且對(duì)于不同類型的文本,都具有較為穩(wěn)定的表現(xiàn)。
　　 (2)文本分類中的特征降維是指通過對(duì)特征項(xiàng)進(jìn)行篩選

3、,達(dá)到降低特征空間維度的目的,但由于特征項(xiàng)的數(shù)量龐大,對(duì)其進(jìn)行篩選的計(jì)算復(fù)雜度往往很高。因此,本文采用關(guān)鍵詞提取的方式,首先對(duì)單個(gè)文本中權(quán)重過低的特征項(xiàng)進(jìn)行過濾,減少了參與特征選擇的特征項(xiàng)數(shù)量。實(shí)驗(yàn)證明:該方法在避免大量損失有效特征的基礎(chǔ)上,降低了特征降維的計(jì)算復(fù)雜度。
　　 (3)在文本分類中,準(zhǔn)確地表達(dá)特征項(xiàng)對(duì)其所在文本的重要程度,即特征項(xiàng)權(quán)值,對(duì)文本類別的區(qū)分具有重要影響。因此,針對(duì)經(jīng)典TF*IDF權(quán)值計(jì)算法對(duì)特征項(xiàng)表達(dá)不