面向微博應(yīng)用的新聞文本自動(dòng)摘要研究.pdf

1、Web2.0時(shí)代到來后，大數(shù)據(jù)時(shí)代接踵而至，微博等社交媒體越來越受到社會(huì)和研究者們的高度關(guān)注，面向微博應(yīng)用的相關(guān)任務(wù)以及評(píng)測(cè)也在逐年增加。文本自動(dòng)摘要主要是通過計(jì)算機(jī)自動(dòng)提取文本的關(guān)鍵信息，生成反映文本中心主旨的短文，能夠方便壓縮文本內(nèi)容、加快信息交流速度、提升信息檢索效率。因此，本文的主要研究工作是面向微博應(yīng)用的新聞文本自動(dòng)摘要研究，通過文本自動(dòng)摘要技術(shù)，微博用戶可以實(shí)現(xiàn)對(duì)所關(guān)注新聞進(jìn)行快速縮減然后轉(zhuǎn)發(fā)，能夠很大程度減少微博用戶人工編

2、輯新聞字?jǐn)?shù)再進(jìn)行轉(zhuǎn)發(fā)所耗費(fèi)的時(shí)間，具有很高的實(shí)用價(jià)值。
　　在深入學(xué)習(xí)了目前文本自動(dòng)摘要相關(guān)研究方法的基礎(chǔ)上，本文提出了基于多層次特征和Ranking SVM（Support Vector Model）排序模型的面向微博應(yīng)用的新聞文本自動(dòng)摘要研究算法，具體研究工作如下：
　　（1）多層次特征提取。深入挖掘新聞文本各個(gè)統(tǒng)計(jì)特征及語義特征即句子詞頻、句子位置、句子與標(biāo)題相似度、句子長(zhǎng)度、指示性詞語等統(tǒng)計(jì)特征和主題句這一語義特征，

3、全面分析不同特征的提取方法，積極探索基于新聞文本的表示模型，以更好地運(yùn)用文本特征。
　?。?）文本句子排序。本文首先預(yù)處理新聞文本訓(xùn)練數(shù)據(jù)中各個(gè)句子并將其處理成能夠運(yùn)用的形式，接著將其轉(zhuǎn)換為dat文件作為輸入，獲得Ranking SVM訓(xùn)練模型，利用得到的模型對(duì)處理好的測(cè)試數(shù)據(jù)文本中的各個(gè)句子進(jìn)行排序，最終得到句子由高到低的排序；后期使用冗余處理、通順度處理、指代消解等相應(yīng)的可讀性加工原則，對(duì)排好序的句子進(jìn)行處理，最終得到比較理想