基于全覆蓋粒計(jì)算模型的文本表示和特征提取研究.pdf

1、隨著大數(shù)據(jù)時(shí)代的到來(lái)產(chǎn)生海量的文本數(shù)據(jù)資源，文本挖掘面臨從按秒激增的文本中探求有價(jià)值信息的艱巨任務(wù)。文本表示模型和文本特征提取是文本挖掘領(lǐng)域的重要研究方向，能夠智能地挖掘文本中的信息是文本挖掘領(lǐng)域的迫切需求。粒計(jì)算是人工智能領(lǐng)域中一門挖掘海量信息的新理論。本文尋求基于粒計(jì)算理論的文本表示模型和特征提取算法來(lái)挖掘海量文本信息是一種有益的嘗試。
　　基于LDA(Latent Dirichlet Allocation)的文本主題模型是建

2、立在統(tǒng)計(jì)理論上的一種文本表示模型，其中關(guān)鍵詞是表征主題語(yǔ)義的基本特征。LDA可以將某個(gè)主題下生成概率大的關(guān)鍵詞提取出來(lái)，而這些關(guān)鍵詞對(duì)于表征該主題未必重要。鑒于此，本文提出了一種基于集合論的文本表示模型，即文本的全覆蓋粒計(jì)算模型(Full Covering Granular Computing Model of Texts，F(xiàn)CGMT)，并在此基礎(chǔ)上提出一種基于全覆蓋粒計(jì)算模型的重要關(guān)鍵詞提取算法，利用全覆蓋的約簡(jiǎn)思想對(duì)LDA提取的關(guān)鍵

3、詞計(jì)算其重要度，從而選出表征該主題語(yǔ)義的關(guān)鍵詞。用復(fù)旦大學(xué)語(yǔ)料庫(kù)、搜狗新聞?wù)Z料和網(wǎng)絡(luò)抓取的實(shí)時(shí)語(yǔ)料三類型語(yǔ)料庫(kù)做實(shí)驗(yàn)，與基于TF IDF的關(guān)鍵詞提取算法和基于LDA的關(guān)鍵詞提取算法做比較，證明本文算法的有效性。
　　本文的主要研究?jī)?nèi)容有：
　　1、在全覆蓋粒計(jì)算模型的基礎(chǔ)上設(shè)計(jì)文本的全覆蓋粒計(jì)算模型表示方法，基于LDA主題模型的訓(xùn)練獲得候選詞，然后根據(jù)覆蓋粒計(jì)算模型理論，找到語(yǔ)料庫(kù)、文檔、主題、候選詞與論域、論域中的點(diǎn)、覆蓋

4、、覆蓋元之間的一一對(duì)應(yīng)關(guān)系，構(gòu)建出文本的“主題-候選詞-文檔”全覆蓋粒計(jì)算模型，給基于F CG MT的重要關(guān)鍵詞提取算法提供理論依據(jù)。
　　2、提出全覆蓋粒的約簡(jiǎn)算法的一種改進(jìn)方法，優(yōu)化了全覆蓋粒計(jì)算模型中屬性約簡(jiǎn)的過(guò)程，針對(duì)文本特征的多維性，特征的屬性重要度具有多樣性并不是單純的1和0，重新定義了屬性重要度的度量方法。并通過(guò)重要關(guān)鍵詞提取實(shí)驗(yàn)證明粒的約簡(jiǎn)的改進(jìn)算法的有效性。
　　3、設(shè)計(jì)了一種基于文本的全覆蓋粒計(jì)算模型的關(guān)