財(cái)經(jīng)領(lǐng)域命名實(shí)體識(shí)別方法的研究與系統(tǒng)實(shí)現(xiàn).pdf

1、隨著大數(shù)據(jù)處理技術(shù)的不斷發(fā)展，互聯(lián)網(wǎng)金融也進(jìn)入了大數(shù)據(jù)時(shí)代。面對(duì)海量的財(cái)經(jīng)文章，使用自然語言處理技術(shù)對(duì)其進(jìn)行解析已成為技術(shù)發(fā)展的必然趨勢(shì)。而命名實(shí)體識(shí)別作為自然語言處理技術(shù)中的重要基礎(chǔ)，為信息抽取、信息過濾、信息檢索、問答系統(tǒng)等多種自然語言處理技術(shù)提供了重要的基礎(chǔ)技術(shù)支持。因此，開發(fā)一個(gè)識(shí)別財(cái)經(jīng)領(lǐng)域中的股票名稱、股票代碼等命名實(shí)體的系統(tǒng)，具有重要的現(xiàn)實(shí)意義和使用價(jià)值。
　　論文通過查閱相關(guān)文獻(xiàn)，詳細(xì)論述了課題的產(chǎn)生背景和相關(guān)技術(shù)的

2、發(fā)展與應(yīng)用。在總結(jié)需求的基礎(chǔ)上，對(duì)命名實(shí)體識(shí)別系統(tǒng)進(jìn)行了深入研究，確定了解決方案和技術(shù)措施。針對(duì)命名實(shí)體識(shí)別，本系統(tǒng)采用了條件隨機(jī)場(chǎng)(Conditional Random Field，CRF)模型，在模型訓(xùn)練過程中結(jié)合了Co-Training方法，不僅可以提高模型識(shí)別性能，還減少了因標(biāo)注語料而消耗的大量人力物力。對(duì)于命名實(shí)體的識(shí)別采用的是 Viterbi算法。此外，為了解決 CRF模型訓(xùn)練和實(shí)體識(shí)別時(shí)間較長(zhǎng)的問題，將系統(tǒng)架構(gòu)在Hadoo

3、p框架之上，使用并行化處理的方式來縮短其運(yùn)行時(shí)間。
　　本系統(tǒng)在設(shè)計(jì)上可以劃分為模型訓(xùn)練和實(shí)體識(shí)別兩大模塊。模型訓(xùn)練模塊采用CRF模型，使用選取的標(biāo)注語料和特征模板，基于Co-Training方法訓(xùn)練得到一個(gè)CRF模型。命名實(shí)體識(shí)別模塊可以從財(cái)經(jīng)新聞、公司年報(bào)、個(gè)股研報(bào)等財(cái)經(jīng)文章中識(shí)別出股票名稱、股票代碼等實(shí)體信息，識(shí)別過程使用了Viterbi算法，從而將識(shí)別問題轉(zhuǎn)化為了序列標(biāo)注問題。最后還對(duì)模型的識(shí)別性能進(jìn)行了評(píng)測(cè)、比較，驗(yàn)證了