金融大數(shù)據(jù)平臺部分模塊的設計與實現(xiàn).pdf

1、信息技術(shù)的發(fā)展進入大數(shù)據(jù)時代，金融行業(yè)的應用也在不斷的進行發(fā)展。國內(nèi)的大數(shù)據(jù)發(fā)展處于起步階段，很多單位都有建設大數(shù)據(jù)平臺的需求。國內(nèi)某金融研究機構(gòu)，希望建立一個金融大數(shù)據(jù)平臺，以此來支持其金融研究工作。目前，該金融研究機構(gòu)的數(shù)據(jù)來源包括內(nèi)部金融刊物、商業(yè)金融數(shù)據(jù)庫、內(nèi)部研究論文和國內(nèi)外公開的行業(yè)數(shù)據(jù)，以這些數(shù)據(jù)為基礎建立一個金融大數(shù)據(jù)平臺。金融大數(shù)據(jù)平臺的建設目標是建設多尺度、多分辨率、多種類、多用戶的金融領域基礎經(jīng)濟數(shù)據(jù)體系，深入開發(fā)

2、和應用金融信息資源，構(gòu)建全國權(quán)威的、唯一的、通用的金融信息公共平臺和金融信息咨詢平臺，促進金融行業(yè)數(shù)據(jù)資源的整合、共享和利用，為國家金融領域信息化規(guī)劃、建設和管理服務，為政府、企業(yè)、專家、公眾提供金融服務。
　　本文根據(jù)上述情況，首先介紹了金融大數(shù)據(jù)平臺的建設背景，然后介紹了建設金融大數(shù)據(jù)平臺所涉及到的關鍵技術(shù)，本文所涉及到的關鍵技術(shù)有網(wǎng)絡爬蟲、網(wǎng)頁解析、中文分詞和數(shù)據(jù)展示技術(shù)。然后利用軟件工程的思想完成了對需求的識別和分析工作，

3、進而從系統(tǒng)概要設計的角度介紹了金融大數(shù)據(jù)平臺的設計思想和整體框架。然后從詳細設計的角度介紹了作者獨立參與的金融大數(shù)據(jù)平臺中期刊論文數(shù)據(jù)庫、互聯(lián)網(wǎng)數(shù)據(jù)抓取和應用平臺中的兩個模塊，即理財產(chǎn)品專題和期刊論文檢索的設計思想與實現(xiàn)過程。最后介紹了系統(tǒng)的功能性測試和非功能性測試結(jié)果。針對期刊論文數(shù)據(jù)的特點，詳細介紹了其數(shù)據(jù)的采集、預處理、數(shù)據(jù)存儲、數(shù)據(jù)索引和數(shù)據(jù)檢索的設計和實現(xiàn)方式，采用SOLR搜索引擎的技術(shù)方案對期刊論文進行全文索引，并提供基本檢

4、索、高級檢索、全文下載和在線閱讀的功能。在互聯(lián)網(wǎng)理財產(chǎn)品數(shù)據(jù)信息的處理部分，詳細介紹了互聯(lián)網(wǎng)理財產(chǎn)品數(shù)據(jù)的采集方案、存儲方案和數(shù)據(jù)展示方案。使用網(wǎng)絡爬蟲技術(shù)來抓取互聯(lián)網(wǎng)信息，采用JSOUP技術(shù)來解析和抽取頁面數(shù)據(jù)，使用人工與程序結(jié)合的方式來每日更新理財產(chǎn)品數(shù)據(jù)，同時使用SOLR索引技術(shù)對抓取到的數(shù)據(jù)進行索引，并完成了部分理財產(chǎn)品數(shù)據(jù)的統(tǒng)計結(jié)果展示。針對國家統(tǒng)計數(shù)據(jù)，詳細介紹了統(tǒng)計數(shù)據(jù)的抓取策略以及數(shù)據(jù)的存儲策略。
　　目前，金融大