非結(jié)構(gòu)化到結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換的研究與實(shí)現(xiàn).pdf

1、當(dāng)今社會(huì)基礎(chǔ)技術(shù)不斷發(fā)展，信息化程度不斷加深，大量的數(shù)字化設(shè)備產(chǎn)生了海量數(shù)據(jù)，使得數(shù)據(jù)資源與日俱增。這些數(shù)據(jù)中，以電子文檔、郵件、報(bào)表、音頻、視頻、圖形圖像為主要部分的非結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)極為迅速，而關(guān)系型數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)則相對(duì)比較緩慢。這一現(xiàn)象導(dǎo)致的最為直接的問(wèn)題便是大量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)與管理問(wèn)題。而解決這一問(wèn)題的關(guān)鍵就是通過(guò)“非結(jié)構(gòu)化數(shù)據(jù)—半結(jié)構(gòu)化數(shù)據(jù)—結(jié)構(gòu)化數(shù)據(jù)”實(shí)現(xiàn)數(shù)據(jù)內(nèi)容從非結(jié)構(gòu)化向結(jié)構(gòu)化的轉(zhuǎn)換，從而對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行統(tǒng)一有

2、效的管理。
　　 論文分析了文本文件、Word文檔、Excel文檔等非結(jié)構(gòu)化文件的結(jié)構(gòu)類型特點(diǎn)，創(chuàng)建對(duì)應(yīng)的文件模板，通過(guò)轉(zhuǎn)換程序來(lái)讀取這些非結(jié)構(gòu)化文件的內(nèi)容，使用不同的轉(zhuǎn)換規(guī)則將其分別轉(zhuǎn)換成為標(biāo)準(zhǔn)的XML文檔，再分析XML文檔與關(guān)系數(shù)據(jù)庫(kù)的映射關(guān)系，按照一定的轉(zhuǎn)換規(guī)則將XML文檔轉(zhuǎn)換成為關(guān)系數(shù)據(jù)庫(kù)表，為傳統(tǒng)的基于關(guān)系模型的數(shù)據(jù)庫(kù)所支持。
　　 論文提出了一種非結(jié)構(gòu)化到結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換模型，增加了元數(shù)據(jù)提取模塊和模板創(chuàng)建及管

3、理模塊來(lái)獲取非結(jié)構(gòu)化文件轉(zhuǎn)換過(guò)程中所需要的文件結(jié)構(gòu)并對(duì)其進(jìn)行管理，使轉(zhuǎn)換過(guò)程成為一個(gè)整體，增加了文件格式定義模塊來(lái)實(shí)現(xiàn)同類型多結(jié)構(gòu)文件的數(shù)據(jù)轉(zhuǎn)換，對(duì)系統(tǒng)進(jìn)行了性能優(yōu)化，研究并創(chuàng)新的提出了大數(shù)據(jù)XML文檔解析方法和海量數(shù)據(jù)插入優(yōu)化方法，支持大數(shù)據(jù)量非結(jié)構(gòu)化文件的數(shù)據(jù)轉(zhuǎn)換。
　　 綜合文中提出的方法和實(shí)現(xiàn)的過(guò)程，本文成功地實(shí)現(xiàn)了“高速列車數(shù)字化仿真平臺(tái)”項(xiàng)目中非結(jié)構(gòu)化到結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換功能的研發(fā)。仿真平臺(tái)實(shí)際運(yùn)行中，各專業(yè)子系統(tǒng)產(chǎn)生的