組學大數(shù)據(jù)環(huán)境下的基因信息并行處理與分析方法研究.pdf

1、隨著下一代測序技術的不斷發(fā)展和逐漸成熟，高通量測序已經成為生物、醫(yī)學研究中的常規(guī)工具，也即將在農業(yè)和醫(yī)療等行業(yè)中得到廣泛應用，促生了精準醫(yī)療和分子育種等新興產業(yè)。不同以往的低通量技術，高通量測序技術所產生的多種組學（全基因組、全外顯子組、轉錄組、宏基因組等）數(shù)據(jù)具有通量高、數(shù)據(jù)量大、復雜異質等特點，所涉及的處理與分析步驟多且繁瑣，對數(shù)據(jù)處理的軟、硬件都提出了較高的要求。如何快速、高效處理和分析高通量測序數(shù)據(jù)成為高通量測序技術廣泛應用的瓶

2、頸。比如，當前受到廣泛關注的精準醫(yī)療主要依賴于基因測序技術，如何高效處理和分析海量的病人的基因測序數(shù)據(jù)，從中獲取個性化的癌變驅動信息成為實現(xiàn)腫瘤精準診療的關鍵和難點問題。
　　基因測序技術從第一代測序技術發(fā)展到當前最新的第三代測序技術，其測序通量爆炸性增長。第一代測序技術的通量僅僅只有0.2MB/run，而以Illumina為代表的第二代測序技術其通量能達到1500GB/run左右，第三代測序技術的通量更是達到了30-400bp/

3、s。測序技術的進步為相關的生物、醫(yī)學研究提供了有力的支持，但是如何解決海量的測序數(shù)據(jù)成為急需解決的學術和行業(yè)難題。
　　為了解決上述問題，本文基于Hadoop系統(tǒng)設計并實現(xiàn)了一套高通量測序數(shù)據(jù)自動化并行處理系統(tǒng)(SeqReduce)，其主要的目的是利用計算機集群，為海量的測序數(shù)據(jù)分析提供一款高效、穩(wěn)定、低廉的自動化處理工具。該系統(tǒng)的核心設計思想是通過MapReduce并行運算框架對相關測序數(shù)據(jù)進行分割、對比、信息查詢，最后輸出突變