基于全覆蓋粒計(jì)算的新聞文檔子話題劃分方法研究.pdf

1、當(dāng)今時(shí)代信息爆炸，信息量規(guī)模急劇膨脹，來(lái)自四面八方的信息如浪潮般涌入人類的生活。在如此龐大的數(shù)據(jù)面前，用戶想要在海量信息中快速、準(zhǔn)確地獲得自己感興趣的新聞話題，將面臨著巨大的挑戰(zhàn)。針對(duì)大量的新聞事件，如何按照話題進(jìn)行組織和歸類，以便能夠自動(dòng)地把相關(guān)話題的信息匯總，這已成為自然語(yǔ)言處理中一個(gè)重要的研究課題。話題識(shí)別與劃分技術(shù)應(yīng)運(yùn)而生，其致力于研究對(duì)來(lái)自不同的文本集進(jìn)行有效的組織、搜索與結(jié)構(gòu)化。
　　全覆蓋粒計(jì)算是信息處理和數(shù)據(jù)挖掘的

2、一種新的研究方法，為具有不確定、不完整信息的大規(guī)模海量數(shù)據(jù)的挖掘提供了一種新的思路。它包括全覆蓋理論和粒度的?；⒘５倪\(yùn)算，為子話題劃分提供了一種新的解決方法。
　　本文的創(chuàng)新點(diǎn)主要有：
　　1、本文采用LDA（Latent Dirichlet Allocation）主題模型對(duì)海量新聞?wù)Z料進(jìn)行語(yǔ)義分析并建立模型，提取新聞文檔的隱含主題，得到“文檔-主題”?矩陣；通過(guò)多次實(shí)驗(yàn)對(duì)?矩陣中的概率設(shè)置合適的閾值，進(jìn)而將“文檔-主題”

3、矩陣轉(zhuǎn)換為全覆蓋模型；在全覆蓋粒計(jì)算的基礎(chǔ)上，利用粒約簡(jiǎn)的方法，刪除冗余覆蓋元，得到最簡(jiǎn)覆蓋元。
　　2、從集合論的角度提出了全覆蓋粒計(jì)算的誘導(dǎo)劃分算法DP（Derived Partition），探討了該算法的理論依據(jù)，提出了算法的具體過(guò)程，分析了算法的時(shí)間復(fù)雜度；并對(duì)算法的結(jié)構(gòu)及過(guò)程進(jìn)行了優(yōu)化，通過(guò)大量的實(shí)驗(yàn)驗(yàn)證，表明改進(jìn)后確實(shí)提高了該算法的性能；最后以實(shí)例對(duì)該算法進(jìn)行了進(jìn)一步的解釋。
　　3、在LDA主題模型和誘導(dǎo)劃分算