面向證券應(yīng)用的WEB主題觀點(diǎn)挖掘若干關(guān)鍵問(wèn)題研究.pdf

1、受有效市場(chǎng)假說(shuō)的影響，證券行業(yè)不斷重視對(duì)互聯(lián)網(wǎng)文本數(shù)據(jù)的研究。但隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，尤其是近年來(lái)涌現(xiàn)出各種社交網(wǎng)絡(luò)平臺(tái)，互聯(lián)網(wǎng)上的文本數(shù)據(jù)發(fā)生很大變化，開(kāi)始出現(xiàn)大量帶有感情色彩的主觀性信息。這些主觀性信息的內(nèi)容涉及社會(huì)生活中的各種熱點(diǎn)話題，因此在證券行業(yè)擁有巨大的應(yīng)用空間。然而，主觀性信息在文本中的表現(xiàn)形式與客觀性信息不同，一般比客觀性信息更加復(fù)雜，因此利用傳統(tǒng)的文本挖掘方法已經(jīng)無(wú)法解決這類信息的挖掘問(wèn)題。在這種背景下，以挖掘文本中主

2、觀性情感信息為研究目標(biāo)的觀點(diǎn)挖掘技術(shù)應(yīng)運(yùn)而生。
　　互聯(lián)網(wǎng)觀點(diǎn)挖掘研究不僅具有巨大的學(xué)術(shù)價(jià)值，其挖掘結(jié)果還能幫助解決許多行業(yè)的應(yīng)用需求，因此該領(lǐng)域的研究不僅受到學(xué)術(shù)界的廣泛關(guān)注，還吸引了眾多行業(yè)的注意。其中，在證券行業(yè)就出現(xiàn)利用社交網(wǎng)絡(luò)情感信息預(yù)測(cè)股市波動(dòng)的應(yīng)用案例。相對(duì)之前的方法，這些基于觀點(diǎn)挖掘的應(yīng)用取得了一定的成效，但總體來(lái)看，其應(yīng)用效果仍無(wú)法令人滿意。這是因?yàn)槟壳暗挠^點(diǎn)挖掘研究?jī)H注重對(duì)觀點(diǎn)信息的挖掘，忽視了觀點(diǎn)與主題內(nèi)容的

3、聯(lián)系，然而證券行業(yè)對(duì)信息的需求，不僅包括互聯(lián)網(wǎng)上的觀點(diǎn)信息，還同時(shí)希望把握其中蘊(yùn)含的主題。因此，現(xiàn)有的觀點(diǎn)挖掘方法也難以很好的滿足證券行業(yè)對(duì)信息的需求。
　　針對(duì)這一問(wèn)題，本文提出了一種面向Web文本主題的觀點(diǎn)挖掘研究，簡(jiǎn)稱主題觀點(diǎn)挖掘研究。圍繞這一研究，我們分別對(duì)主題觀點(diǎn)挖掘、主題觀點(diǎn)量化、主題觀點(diǎn)集成，以及主題觀點(diǎn)分類等若干關(guān)鍵問(wèn)題展開(kāi)深入分析，并提出相應(yīng)的解決的方法。此外，為了驗(yàn)證本文方法的有效性，我們不僅在實(shí)驗(yàn)中驗(yàn)證了本文

4、方法解決現(xiàn)有觀點(diǎn)挖掘任務(wù)的能力，還專門(mén)將挖掘模型應(yīng)用到的股市波動(dòng)預(yù)測(cè)應(yīng)用中。實(shí)驗(yàn)結(jié)果不僅證明了本文方法的有效性，還發(fā)現(xiàn)了許多有意思的結(jié)論?？傮w來(lái)看，本文研究工作有如下幾個(gè)方面的創(chuàng)新:
　　1.針對(duì)現(xiàn)有方法在挖掘觀點(diǎn)信息時(shí)忽略了主題信息這一不足，本文首先提出一種文檔主題觀點(diǎn)挖掘模型（Document-Topic-Opinion，簡(jiǎn)稱DTO模型）。該模型在標(biāo)準(zhǔn)LDA模型關(guān)于文檔(Document)、主題(Topic)和詞匯（Word）

5、的三層結(jié)構(gòu)基礎(chǔ)上，進(jìn)一步引入觀點(diǎn)(Opinion)的概念，是一種四層貝葉斯概率生成模型。從機(jī)器學(xué)習(xí)的角度看，DTO模型是一種非監(jiān)督的學(xué)習(xí)模型。由于DTO模型中未知參數(shù)間存在耦合關(guān)系，無(wú)法通過(guò)形式化推理求解模型的未知參數(shù)，本文提出采用MCMC Gibbs抽樣的方法實(shí)現(xiàn)對(duì)未知參數(shù)的近似估計(jì)。實(shí)驗(yàn)結(jié)果表明，DTO模型具有較強(qiáng)的主題和觀點(diǎn)挖掘能力，利用該模型不僅可以取得較高的文檔觀點(diǎn)分類準(zhǔn)確率，還能挖掘出帶有情感傾向性的主題內(nèi)容。
　　2

6、.針對(duì)現(xiàn)有觀點(diǎn)量化方法的不足，本文在DTO模型基礎(chǔ)上，首先提出主題觀點(diǎn)分布的假設(shè)，假設(shè)文本的觀點(diǎn)信息是在多個(gè)隱含主題上的多項(xiàng)分布。依據(jù)這一概率假設(shè)，本文進(jìn)一步提出了主題觀點(diǎn)的量化表達(dá)模型，即文檔主題觀點(diǎn)向量模型（Document-Topic-Opinion Vector，簡(jiǎn)稱DTOV模型）。利用DTO模型，可以將文檔觀點(diǎn)(Article Opinion)與文檔主題觀點(diǎn)關(guān)聯(lián)起來(lái)，最終實(shí)現(xiàn)對(duì)DTOV模型的量化計(jì)算。以DTOV為分類特征的情感

7、分類實(shí)驗(yàn)結(jié)果表明，DTOV具有較好的主題觀點(diǎn)量化能力。
　　3.針對(duì)現(xiàn)有觀點(diǎn)集成方法的不足，本文首次提出一種基于文檔權(quán)重(Article-Weight)和主題權(quán)重(Topic-Weight)的主題觀點(diǎn)集成模型(Topic-Opinion Vector Aggregation Model，簡(jiǎn)稱TOVA模型)。該模型通過(guò)集成文檔集合中所有文檔的主題觀點(diǎn)，為整個(gè)文檔集生成一個(gè)主題觀點(diǎn)集成向量（Aggregative Topic-Opin

8、ion Vector，簡(jiǎn)稱ATOV）。利用TOVA模型，可以同時(shí)挖掘出互聯(lián)網(wǎng)上多個(gè)熱點(diǎn)話題的輿情信息，具有較高的應(yīng)用價(jià)值。為了驗(yàn)證觀點(diǎn)集成模型的有效性，本文利用DTO模型對(duì)中國(guó)最大的互聯(lián)網(wǎng)門(mén)戶網(wǎng)站新浪財(cái)經(jīng)每日發(fā)布的股票相關(guān)文本信息進(jìn)行主題觀點(diǎn)挖掘，為每篇互聯(lián)網(wǎng)財(cái)經(jīng)文檔生成一個(gè)對(duì)應(yīng)的DTOV，然后再利用TOVA模型整合每天所有的DTOV，最終得到每天的主題觀點(diǎn)集成向量ATOV。ATOV可以看作是每日互聯(lián)網(wǎng)上圍繞熱點(diǎn)主題的觀點(diǎn)信息，為了迸一

9、步驗(yàn)證其對(duì)股市波動(dòng)的預(yù)測(cè)能力，我們將每日生成的ATOV作為特征數(shù)據(jù)，利用文本分類方法對(duì)上證綜指隔日波動(dòng)方向進(jìn)行預(yù)測(cè)。實(shí)驗(yàn)結(jié)果驗(yàn)證了ATOV對(duì)股市波動(dòng)的預(yù)測(cè)能力，同時(shí)也反映出TOVA模型較強(qiáng)的觀點(diǎn)整合能力。
　　4.針對(duì)現(xiàn)有方法對(duì)文本多分類模型研究的不足，本文在正則化理論和模糊集理論的基礎(chǔ)上，首次提出了一種多數(shù)據(jù)域描述(Multiple Data Domain DescriptionModel，簡(jiǎn)稱MDDD模型)的文本多分類方法。M