中文自動(dòng)摘要系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著信息技術(shù)的發(fā)展，尤其是因特網(wǎng)和大規(guī)模存儲(chǔ)介質(zhì)的普及，形成了信息的汪洋大海。因此，人們迫切需要尋找一條能夠快速、準(zhǔn)確獲得所需信息的途徑，隨之出現(xiàn)了多種文本處理技術(shù)，包括信息檢索、文本分類、文本摘要等。其中文本摘要技術(shù)因其既可以壓縮文本，減少用戶的瀏覽負(fù)擔(dān)，又可以為其他文本處理技術(shù)提供支持，因此，機(jī)器自動(dòng)文摘就成為一個(gè)非常重要的研究課題。 自動(dòng)文摘是指利用計(jì)算機(jī)自動(dòng)對(duì)文本編制摘要，是自然語(yǔ)言理解的重要應(yīng)用領(lǐng)域之一。傳統(tǒng)的自動(dòng)摘要

2、提取方法基于詞頻統(tǒng)計(jì)提取摘要句，對(duì)文本不進(jìn)行語(yǔ)義分析，導(dǎo)致摘要質(zhì)量不高，而且它所產(chǎn)生的文摘往往很難覆蓋所有主題，常常出現(xiàn)主題遺漏等問題。因此，針對(duì)不同題材文本具有不同的潛在主題結(jié)構(gòu)這一現(xiàn)象，如何自適應(yīng)地發(fā)現(xiàn)不同文本潛在的主題將會(huì)對(duì)現(xiàn)有文摘方法的摘要效果產(chǎn)生積極的影響。 為了解決上述問題，本文運(yùn)用統(tǒng)計(jì)學(xué)的方法，提出了一種基于HowNet與自適應(yīng)聚類的中文自動(dòng)文摘方法。研究工作主要包括以下幾個(gè)方面： ①提出了基于HowNet

3、獲得詞語(yǔ)概念的方法； ②用概念頻率統(tǒng)計(jì)代替?zhèn)鹘y(tǒng)的詞形頻率統(tǒng)計(jì)，來建立概念向量空間模型； ③基于自適應(yīng)段落聚類的文本潛在主題的自動(dòng)發(fā)現(xiàn)。 為了對(duì)系統(tǒng)進(jìn)行客觀性評(píng)測(cè)，本文運(yùn)用外部評(píng)價(jià)方法即通過計(jì)算兩種不同文摘方法(本文提出的方法和傳統(tǒng)的基于詞頻的選取全文最大權(quán)值句子的自動(dòng)文摘方法)在不同壓縮率下對(duì)文本分類準(zhǔn)確率的影響來評(píng)測(cè)文摘結(jié)果，還使用了文本主題劃分正確率來評(píng)測(cè)文摘結(jié)果。試驗(yàn)結(jié)果證明本文提出的方法優(yōu)于傳統(tǒng)的基于詞頻