短語級復(fù)述的識別與抽取.pdf

1、復(fù)述是指對相同語義的不同表達，復(fù)述研究在眾多自然語言處理的應(yīng)用領(lǐng)域中都有重要的意義。本文的主要研究任務(wù)是短語級復(fù)述資源的獲取。這項研究工作的目的和意義是為基于統(tǒng)計機器翻譯的復(fù)述生成模型提供更多資源，從而提高復(fù)述生成的質(zhì)量。
　　本文抽取短語級復(fù)述的方法共包括兩個步驟：復(fù)述短語候選的獲取和復(fù)述候選的確認。復(fù)述短語候選的獲取使用了基于可比新聞的方法，此類方法的主要優(yōu)點在于互聯(lián)網(wǎng)上可比新聞的數(shù)量眾多，因此使用該方法可以構(gòu)建相當規(guī)模的復(fù)述

2、短語庫。基于可比新聞提取候選的步驟包括獲取新聞?wù)Z料，基于新聞內(nèi)容的相似度和新聞發(fā)布時間的間隔獲取可比新聞，從可比新聞中提取可比句，以及從可比句中提取復(fù)述短語。復(fù)述候選的確認使用基于二元分類的方法，其重點是分類特征的設(shè)計。本文所使用的特征主要是基于復(fù)述語料的統(tǒng)計特征，其中包括基于χ2方法的詞對齊特征，基于互信息方法詞對齊特征以及基于χ2方法的詞性標注模板對齊特征。前兩個特征是詞匯層面上的統(tǒng)計特征，后一個為以詞性信息為模板的統(tǒng)計特征。除此之

3、外，我們還使用了一些簡單的短語串相似特征，如詞長度比，詞重疊率，編輯距離特征。
　　實驗結(jié)果表明了使用基于可比新聞的方法可以獲取大規(guī)模的復(fù)述短語，并根據(jù)特征比較證明了每一類特征對分類準確率提高均有貢獻，其中以基于χ2方法的詞對齊特征的貢獻最大?；诳杀刃侣劦姆椒ü搏@取復(fù)述短語2,961,739對，其準確率為21.47％。我們使用4類特征對2,961,739對復(fù)述短語候選進行分類確認，最終共抽取出595,619對復(fù)述短語，其準確率為