關(guān)鍵短語抽取及相關(guān)技術(shù)研究.pdf

1、關(guān)鍵短語抽取是文本信息處理的重要技術(shù)。隨著網(wǎng)絡(luò)時(shí)代的到來，在線文檔呈現(xiàn)出幾何級數(shù)的增長，“信息爆炸”成為這個(gè)時(shí)代的主要特征。檢索和利用網(wǎng)絡(luò)信息變得越來越困難，關(guān)鍵詞作為對文章內(nèi)容的簡要概括，可以輔助人們快速了解文章內(nèi)容，節(jié)省瀏覽時(shí)間。同時(shí)關(guān)鍵詞在自動(dòng)文摘、信息檢索、文本分類、文本聚類等方面也具有十分重要的作用。在實(shí)際生活當(dāng)中，只有很少的一部分文檔擁有作者標(biāo)注的關(guān)鍵詞，并且由人手工進(jìn)行關(guān)鍵詞的標(biāo)注是一項(xiàng)非常費(fèi)時(shí)費(fèi)力的工作且主觀性較強(qiáng)。因此

2、非常需要有一種方法，能夠自動(dòng)的進(jìn)行關(guān)鍵詞的抽取。
　　關(guān)鍵詞既要反映文本的主題內(nèi)容，又要具有專指性。由于作者給定的關(guān)鍵詞大多是由兩個(gè)或者兩個(gè)以上的詞組成，因此本文也稱為關(guān)鍵短語。關(guān)鍵短語的抽取已經(jīng)成為信息檢索領(lǐng)域中非常重要的研究課題。本文主要研究了以下幾個(gè)問題：
　　1．研究了與關(guān)鍵短語相關(guān)的資源建設(shè)問題，我們對格式化數(shù)據(jù)處理的方式進(jìn)行了分類，并通過對互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行格式化處理來使人們了解如何進(jìn)行資源建設(shè)。
　　2．本文

3、利用文檔結(jié)構(gòu)，分析和研究了關(guān)鍵短語抽取問題。本文采用分類的設(shè)計(jì)思想實(shí)現(xiàn)關(guān)鍵短語的抽取，并且分別采用支持向量機(jī)模型(SVM)來建立分類模型以及采用條件隨機(jī)場模型(CRF)進(jìn)行關(guān)鍵短語抽取。實(shí)驗(yàn)結(jié)果表明，本文提出的抽取算法在查準(zhǔn)率和查全率上都比已有的算法有顯著的提高。
　　3．研究了軟件測試問題，針對關(guān)鍵短語抽取完成了有關(guān)實(shí)驗(yàn)測試，我們對軟件測試的方法進(jìn)行了歸納、分類。通過使用Junit軟件進(jìn)行軟件測試實(shí)驗(yàn)，我們分為五個(gè)部分對實(shí)驗(yàn)進(jìn)行