漢語句群自動劃分方法及其在自動文摘中的應(yīng)用.pdf

1、計算機在處理文本時，在句子和篇章之間存在著明顯的語義鴻溝。句群是介于句子和篇章的語法單位，可以有效地降低語義鴻溝帶來的不利影響。因而如何從篇章中劃分出句群成為研究者面對的重要問題。同時，隨著網(wǎng)絡(luò)時代 Internet的廣泛普及，電子文本信息的迅速增加，如何從海量信息中自動獲取人們感興趣的信息焦點成為人們的迫切需求，因而自動文摘也成為了自然語言處理中的熱點問題。
　　基于以上考慮，本文主要做了以下研究工作。
　　首先，本文對句

2、群劃分和自動文摘的發(fā)展現(xiàn)狀進行詳細的闡述。論文總結(jié)了句群劃分的依據(jù)，回顧了基于HNC的句群劃分方法以及基于層次聚類的句群劃分方法并對其優(yōu)缺點進行了分析。同時介紹了本文所涉及的關(guān)鍵技術(shù)，包括文本的向量表示方法以及文本的聚類方法。
　　其次，針對目前句群劃分缺乏計算語言學(xué)數(shù)據(jù)支持、忽略篇章銜接詞的問題以及當(dāng)前篇章分析較少研究句群語法單位的現(xiàn)象，本文提出了一種基于多元判別分析的漢語句群自動劃分方法。論文以漢語句群理論為指導(dǎo)，構(gòu)建漢語句群

3、劃分標(biāo)注評測語料，并且基于多元判別分析(Multiple Discriminant Analysis，MDA)方法設(shè)計了一組評價函數(shù)J，從而實現(xiàn)句群的自動劃分。本文還考慮了篇章銜接詞因素以提高句群劃分質(zhì)量。結(jié)果表明，本文方法比原始MDA方法在句群劃分上有更大優(yōu)勢，其句群劃分性能更優(yōu)，是一種可行的方法。
　　最后，自動文摘以句子為基本處理粒度時，容易造成信息冗余和流暢性差的情況，針對這點本文提出一種基于漢語句群自動劃分技術(shù)的自動文摘