腫瘤、心血管重大疾病臨床與組學(xué)大數(shù)據(jù)存儲(chǔ)及挖掘技術(shù)研究.pdf

1、隨著醫(yī)療信息技術(shù)和生物科技的迅猛發(fā)展，生物醫(yī)療行業(yè)的數(shù)據(jù)量呈爆炸式增長(zhǎng)。作為生物醫(yī)療數(shù)據(jù)最重要的組成部分，臨床與組學(xué)數(shù)據(jù)是指在疾病的診治和組學(xué)分析中產(chǎn)生的電子病歷、檢查報(bào)告、影像、信號(hào)數(shù)據(jù)、基因序列數(shù)據(jù)等。在某些重點(diǎn)?？漆t(yī)院，臨床數(shù)據(jù)的積累已達(dá)到百TB的規(guī)模，而在組學(xué)研究領(lǐng)域更是達(dá)到了PB級(jí)。這些數(shù)據(jù)的挖掘應(yīng)用將對(duì)研究疾病發(fā)生發(fā)展規(guī)律、提高診治水平等具有重大潛在價(jià)值。然而，隨著海量數(shù)據(jù)的不斷累積和應(yīng)用需求的更加復(fù)雜化，臨床與組學(xué)數(shù)據(jù)存儲(chǔ)

2、和挖掘面臨著許多新的問(wèn)題，制約了其更好地實(shí)際應(yīng)用。
　　為研究適合臨床與組學(xué)大數(shù)據(jù)存儲(chǔ)和挖掘的高效方法，本文以對(duì)人類(lèi)危害極大的腫瘤、心血管疾病為例，深入分析了兩類(lèi)疾病在診治和愈后管理過(guò)程中，如何充分利用已有數(shù)據(jù)提高診斷正確率、確定科學(xué)的治療方案，使大多數(shù)醫(yī)生均成為“有豐富醫(yī)療經(jīng)驗(yàn)的高價(jià)值”醫(yī)生。對(duì)數(shù)據(jù)應(yīng)用過(guò)程中面臨的多源異構(gòu)集成存儲(chǔ)，高速并行訪問(wèn)及高效挖掘算法等問(wèn)題提出了一些解決方案。
　　首先，在深入分析臨床與組學(xué)大數(shù)據(jù)組

3、成和技術(shù)特性的基礎(chǔ)上，本文將分散、異構(gòu)、多源、非結(jié)構(gòu)化的數(shù)據(jù)分為文檔數(shù)據(jù)、小文件和大文件三類(lèi)，并以NoSQL作為存儲(chǔ)底層，MapReduce作為計(jì)算引擎，構(gòu)建了面向并行數(shù)據(jù)挖掘的分布式存儲(chǔ)模型MSPM（Medical Storage Platform for Mining）。該模型實(shí)現(xiàn)了三類(lèi)數(shù)據(jù)的一體化集成存儲(chǔ)和統(tǒng)一規(guī)則訪問(wèn)，并適于并行化的數(shù)據(jù)分析和挖掘。同時(shí)，借助NoSQL的自動(dòng)分片和副本集機(jī)制，可滿足應(yīng)用對(duì)高可擴(kuò)展性、高可靠性的需求

4、。
　　然后，針對(duì)MSPM模型存在的兩個(gè)主要性能瓶頸進(jìn)行了優(yōu)化。為應(yīng)對(duì)集群系統(tǒng)失衡問(wèn)題，提出了綜合應(yīng)用組合調(diào)優(yōu)片鍵和FDO-DT（Double Threshold based on Frequence of Data Operation）算法的改進(jìn)策略，解決了數(shù)據(jù)自動(dòng)分片耗時(shí)長(zhǎng)、開(kāi)銷(xiāo)大的問(wèn)題，并實(shí)現(xiàn)了數(shù)據(jù)存儲(chǔ)與讀寫(xiě)的雙均衡；為解決頻繁訪問(wèn)原始大文件造成的系統(tǒng)性能不佳問(wèn)題，設(shè)計(jì)了大文件特征庫(kù)，通過(guò)醫(yī)學(xué)文檔關(guān)鍵信息抽取、元信息提取、挖