基于Hadoop的XBRL數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、可擴(kuò)展業(yè)務(wù)報(bào)告語(yǔ)言XBRL是XML在業(yè)務(wù)報(bào)告信息交換領(lǐng)域的一種應(yīng)用技術(shù)，具有對(duì)財(cái)務(wù)報(bào)表進(jìn)行特定的識(shí)別和解析，簡(jiǎn)化生成財(cái)務(wù)報(bào)表的準(zhǔn)備工作和相關(guān)財(cái)務(wù)信息的定義工作，降低網(wǎng)絡(luò)信息交換成本，提高業(yè)務(wù)報(bào)告的可信度和數(shù)據(jù)準(zhǔn)確性等優(yōu)點(diǎn)。企業(yè)可以利用XBRL技術(shù)使財(cái)務(wù)數(shù)據(jù)從收集到報(bào)告全部自動(dòng)化，其生成的XBRL格式的財(cái)務(wù)報(bào)告易于用戶(hù)（包括投資者、決策者和監(jiān)管者等）更快更有效的地進(jìn)行數(shù)據(jù)存儲(chǔ)、挖掘、分析和比較工作。
　　近年來(lái)隨著XBRL在國(guó)際金融

2、機(jī)構(gòu)中的大力推廣使用，上市公司的財(cái)務(wù)季度報(bào)告已經(jīng)開(kāi)始使用XBRL標(biāo)準(zhǔn)報(bào)送，所以每個(gè)季度金融機(jī)構(gòu)都會(huì)接收海量的XBRL財(cái)務(wù)報(bào)告數(shù)據(jù)。這些財(cái)務(wù)報(bào)告記錄著每個(gè)季度上市公司的財(cái)務(wù)金融信息，有著非常高的挖掘、分析和研究?jī)r(jià)值。分布式計(jì)算平臺(tái)Hadoop和分布式計(jì)算模型Map/Reduce的出現(xiàn)很好地解決了海量數(shù)據(jù)處理分析的問(wèn)題，讓基于海量信息的XBRL數(shù)據(jù)存儲(chǔ)和分析成為可能。
　　本文設(shè)計(jì)并實(shí)現(xiàn)了基于Hadoop的XBRL數(shù)據(jù)分析系統(tǒng)，首先對(duì)

3、XBRL技術(shù)以及Hadoop平臺(tái)的研究現(xiàn)狀作出分析，并整理出海量XBRL數(shù)據(jù)分析系統(tǒng)的功能和性能方面的需求。在此基礎(chǔ)上對(duì)XBRL中的技術(shù)規(guī)范、分類(lèi)標(biāo)準(zhǔn)和實(shí)例文檔進(jìn)行建模，并且研究了與XBRL相關(guān)的XML解析技術(shù)，為XBRL數(shù)據(jù)存儲(chǔ)與分析提供了重要的技術(shù)支持。然后對(duì)系統(tǒng)的數(shù)據(jù)存儲(chǔ)和分析流程進(jìn)行了整體設(shè)計(jì)，采用分布式計(jì)算Map/Reduce模型對(duì)XBRL數(shù)據(jù)進(jìn)行提取、轉(zhuǎn)換，之后存儲(chǔ)到Hadoop平臺(tái)的分布式文件系統(tǒng)HDFS和數(shù)據(jù)庫(kù)HBase