基于后綴樹算法的地區(qū)微博摘要技術(shù)研究.pdf

1、在這個社交網(wǎng)絡(luò)工具發(fā)達(dá)、各取所需的時代，隨著大量組織機構(gòu)平臺微博的開通，官方微博開始進(jìn)入了人們的視野，官方微博是經(jīng)過官方認(rèn)證后的微博，即真實性已通過驗證。其發(fā)布的博文信息不但具有權(quán)威性、組織性、真實性，而且還具有地區(qū)性。通過觀察官方微博數(shù)據(jù)發(fā)現(xiàn)其博文中包含了大量相關(guān)當(dāng)?shù)氐氖录畔?，聚合地區(qū)官方微博數(shù)據(jù)可以發(fā)掘當(dāng)?shù)氐闹匾录畔?，幫助用戶了解地區(qū)近況。因此，針對地區(qū)官方微博數(shù)據(jù)研究需求的呼吁聲越來越大。并且微博作為一種新型的社交媒體，任何

2、人都可以隨時隨地通過Web、手機網(wǎng)絡(luò)、API將自己所見所聞發(fā)送出去。與傳統(tǒng)媒體相比，微博的這種低門檻性、操作簡單性決定了微博更可以占據(jù)信息發(fā)布的制高點，也由此造成發(fā)布的微博數(shù)據(jù)量大，用戶想從數(shù)以萬計的博文中獲取有價值的地區(qū)事件信息，逐條閱讀微博數(shù)據(jù)造成時間浪費，若針對官方微博中的地區(qū)微博進(jìn)行聚類然后形成事件摘要，將大大提高用戶獲取地區(qū)事件信息的效率，縮短用戶閱覽和理解博文信息的時間，并且地區(qū)官方微博數(shù)據(jù)很容易從新浪微博提供的應(yīng)用程序接口

3、（API)中爬取，因此對地區(qū)官方微博數(shù)據(jù)進(jìn)行自動摘要技術(shù)研究具有重要意義。
　　目前針對地區(qū)官方微博自動摘要研究還很少，并且地區(qū)官方微博在形成摘要時存在著如下挑戰(zhàn)：1）地名別稱及地區(qū)不同層級劃分；2）混雜了除本地區(qū)外的事件信息；3）地區(qū)標(biāo)簽屬性突顯等特征，因此本文針對以上挑戰(zhàn)問題提出了基于后綴樹算法的地區(qū)微博摘要技術(shù)研究。首先，對地區(qū)官方微博數(shù)據(jù)進(jìn)行預(yù)處理將不是本地區(qū)事件信息的微博過濾掉以及利用地區(qū)權(quán)值樹和知網(wǎng)(HowNet)對地

4、區(qū)微博數(shù)據(jù)進(jìn)行地區(qū)別稱、語義相似度替換，將意思同樣的詞匯進(jìn)行統(tǒng)一，為更好的完成事件聚類；其次，利用后綴樹聚類算法(Suffix Tree Clustering，STC)和奇異值分解(Singular Value Decomposition，SVD)對地區(qū)微博進(jìn)行事件聚類；然后，結(jié)合地區(qū)微博的特征對其聚類后的微博句子進(jìn)行綜合打分，選取權(quán)值高有代表性的句子生成摘要；最后，以人工提取的地區(qū)事件摘要為測評標(biāo)準(zhǔn)，測評本文方法和已有的自動摘要方法對