基于云計(jì)算的醫(yī)療數(shù)據(jù)處理技術(shù)研究.pdf

1、隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展和廣泛應(yīng)用，醫(yī)療行業(yè)信息化進(jìn)程不斷加速，醫(yī)療數(shù)據(jù)量呈現(xiàn)幾何倍數(shù)增長(zhǎng)，據(jù)統(tǒng)計(jì)，到2020年，醫(yī)療數(shù)據(jù)將急劇增長(zhǎng)到35ZB，相當(dāng)于2009年的44倍。海量的醫(yī)療數(shù)據(jù)和繁雜的數(shù)據(jù)類(lèi)型給整個(gè)醫(yī)療行業(yè)存儲(chǔ)和處理帶來(lái)了巨大的壓力。與此同時(shí)，人們對(duì)醫(yī)療數(shù)據(jù)的關(guān)注度越來(lái)越高，如何有效地存儲(chǔ)和處理海量醫(yī)療數(shù)據(jù)，為醫(yī)生和患者提供高效的數(shù)據(jù)服務(wù)和數(shù)據(jù)支持已成為亟待解決的問(wèn)題。云計(jì)算的出現(xiàn)為處理海量醫(yī)療數(shù)據(jù)提供了一種新思路。
　　

2、作為云計(jì)算技術(shù)的重要組成部分，開(kāi)源框架Hadoop提供了海量數(shù)據(jù)分布式存儲(chǔ)和計(jì)算的平臺(tái)，本文針對(duì)海量醫(yī)療數(shù)據(jù)處理和分析中存在的問(wèn)題，主要研究?jī)?nèi)容及所做工作包括以下方面：
　　1)研究Hadoop云平臺(tái)的核心組件HDFS和MapReduce，針對(duì)其存儲(chǔ)大量小文件時(shí)存在的內(nèi)存瓶頸以及文件檢索效率較低問(wèn)題，提出了一種適合大量醫(yī)療小文件存儲(chǔ)的方法。通過(guò)引入文件預(yù)處理模塊，將大量小文件合并成一個(gè)序列文件，并將其所對(duì)應(yīng)的信息寫(xiě)入擴(kuò)展索引，能夠

3、有效地減少集群中文件的數(shù)量從而提高集群的內(nèi)存使用；通過(guò)使用擴(kuò)展索引，在確保用戶(hù)信息安全以及準(zhǔn)確定位所要檢索文件的情況下，能夠有效提高文件的檢索速度。通過(guò)實(shí)驗(yàn)表明，該方法能夠有效解決Hadoop存儲(chǔ)小文件時(shí)存在的問(wèn)題。
　　2)研究Apriori關(guān)聯(lián)規(guī)則算法，分析醫(yī)療數(shù)據(jù)間的關(guān)聯(lián)關(guān)系，針對(duì)算法存在的中間結(jié)果規(guī)模過(guò)大、掃描時(shí)間過(guò)長(zhǎng)的缺點(diǎn)，對(duì)該算法進(jìn)行了改進(jìn)并將改進(jìn)后的算法移植到Hadoop平臺(tái)。根據(jù)映射和規(guī)約的思想，提出了Aprior

4、i算法項(xiàng)集數(shù)字化映射和排序的方法，方便數(shù)據(jù)傳輸和項(xiàng)集匹配；采用基模式和生成模式的方法來(lái)生成超集，能夠提高超集生成效率，同時(shí)該方法也能有效地提高剪枝效率。將改進(jìn)后Apriori算法移植到MapReduce框架，使其能夠很好地適應(yīng)高并發(fā)運(yùn)行環(huán)境。通過(guò)實(shí)驗(yàn)表明，移植后的Apriori算法具有良好的并行擴(kuò)展能力。
　　3)將醫(yī)療小文件存儲(chǔ)和醫(yī)療數(shù)據(jù)分析相結(jié)合，設(shè)計(jì)實(shí)現(xiàn)了基于Hadoop的醫(yī)療數(shù)據(jù)存儲(chǔ)與分析系統(tǒng)，介紹了系統(tǒng)主要功能模塊所提供