基于圖像分塊和多尺度學(xué)習(xí)的肺4D-CT圖像超分辨率重建研究.pdf

1、肺4D-CT在肺癌的治療中，對(duì)于準(zhǔn)確定位腫瘤靶區(qū)、實(shí)現(xiàn)個(gè)體化精確放療具有重要的應(yīng)用價(jià)值。它動(dòng)態(tài)采集患者呼吸時(shí)的CT圖像，而后通過(guò)圖像重建和重新排序得到患者在不同呼吸相位的3D-CT圖像。與傳統(tǒng)3D-CT相比，4D-CT不僅能夠明顯消除呼吸運(yùn)動(dòng)偽影，而且能夠真實(shí)準(zhǔn)確地反映肺部隨呼吸運(yùn)動(dòng)的變化規(guī)律。醫(yī)生可以根據(jù)4D-CT圖像來(lái)分析靶區(qū)及危及器官在呼吸過(guò)程中運(yùn)動(dòng)及變形規(guī)律，并依照患者的運(yùn)動(dòng)幅度對(duì)計(jì)劃靶區(qū)適當(dāng)外擴(kuò)以得到個(gè)體化的計(jì)劃靶區(qū)。使得在放

2、射治療過(guò)程中，既能滿足靶區(qū)的劑量需求，又能降低對(duì)正常組織和器官的毒副作用。然而，由于CT高劑量照射的特性，以及較長(zhǎng)的數(shù)據(jù)采集時(shí)間，無(wú)法實(shí)現(xiàn)沿縱向（Z軸方向）進(jìn)行密集采樣，這就導(dǎo)致了數(shù)據(jù)層間分辨率遠(yuǎn)低于層內(nèi)分辨率，造成各項(xiàng)數(shù)據(jù)異性。因此，在觀察數(shù)據(jù)冠矢狀面圖像時(shí)，需沿Z軸進(jìn)行插值放大以顯示正確比例的圖像，但是簡(jiǎn)單的插值方法，并不引入新的信息，往往造成圖像模糊。
　　超分辨(Super Resolution，SR)重建是提高圖像分辨率

3、的有效方法。本文以提高肺4D-CT圖像分辨率為目標(biāo)，提出了兩種基于肺4D-CT圖像數(shù)據(jù)本征特征的SR重建算法。
　　其一，我們提出了一種基于圖像分塊的SR重建算法:
　　(1)我們將肺4D-CT各相位圖像視為多幀退化的低分辨率(Low Resolution，LR)圖像輸入，然后采用基于重建的方法進(jìn)行SR重建。肺4D-CT圖像采集過(guò)程可以看作是高分辨率(High Resolution，HR)肺圖像經(jīng)過(guò)一系列降質(zhì)因素而生成多幀L

4、R圖像的過(guò)程?；谥亟ǚ椒ǖ腟R問(wèn)題，其關(guān)鍵在于建立一個(gè)精確簡(jiǎn)潔的退化模型，以模擬原始HR圖像如何經(jīng)過(guò)一系列復(fù)雜的過(guò)程而退化為L(zhǎng)R降質(zhì)圖像。該模型包含了致使生成圖像發(fā)生形變的相對(duì)運(yùn)動(dòng)，不同形式的模糊，降采樣處理以及各種噪聲。
　　(2)觀察肺4D-CT圖像時(shí)發(fā)現(xiàn)，呼吸運(yùn)動(dòng)偽影有時(shí)會(huì)造成不同相位圖像在局部結(jié)構(gòu)上存在較大差異。為了避免不同相位圖像偽影對(duì)重建結(jié)果的影響，我們對(duì)圖像進(jìn)行分塊處理。而后，針對(duì)每一個(gè)LR目標(biāo)圖像塊，利用相似性測(cè)

5、度函數(shù)度量其他相位對(duì)應(yīng)圖像塊與目標(biāo)圖像的相似程度。最后通過(guò)與設(shè)定閾值的比較，來(lái)判斷該圖像塊是否屬于目標(biāo)圖像塊的相似塊，保留相似塊以參與SR重建，篩除不相似的圖像塊。我們?cè)跉W式距離的基礎(chǔ)之上定義了一個(gè)相似性測(cè)度函數(shù)，為了能夠更好的表征圖像塊的結(jié)構(gòu)信息，該相似性測(cè)度函數(shù)中融合了圖像塊的灰度信息及特征信息。實(shí)驗(yàn)結(jié)果表明，這種圖像塊的自適應(yīng)選取能夠有效過(guò)濾掉結(jié)構(gòu)差異明顯的圖像塊，保留結(jié)構(gòu)相似的圖像塊。進(jìn)而減少SR重建時(shí)的干擾，達(dá)到消除偽影的目的

6、。
　　(3)我們將Demons配準(zhǔn)算法應(yīng)用到肺4D-CT數(shù)據(jù)中，將目標(biāo)圖像塊作為參考圖像，選出的相似圖像塊依次作為浮動(dòng)圖像，來(lái)估計(jì)二者之間的運(yùn)動(dòng)變形場(chǎng)。基于像素灰度的Demons配準(zhǔn)算法，精度高、速度快，不需要對(duì)圖像序列進(jìn)行預(yù)處理，而且CT圖像具有灰度連續(xù)性，相比其他算法更適合于臨床應(yīng)用。
　　(4)在獲得圖像塊之間的運(yùn)動(dòng)變形場(chǎng)之后，我們采用凸集投影(POCS)算法重建得到HR圖像塊。該算法簡(jiǎn)單有效，也能方便加入先驗(yàn)知識(shí)。

7、最后，將所有生成的HR圖像塊拼接，并加入全局約束后，即可獲得最終輸出的完整HR肺4D-CT圖像。實(shí)驗(yàn)結(jié)果表明，本文提出的方法能夠有效地消除偽影、重建出邊緣和細(xì)節(jié)均得到顯著增強(qiáng)的HR肺4D-CT圖像。
　　其二，本文提出了一種利用基于學(xué)習(xí)的SR重建技術(shù)來(lái)提高肺4D-CT圖像分辨率的方法。
　　基于重建的方法需要采用配準(zhǔn)或塊匹配方法進(jìn)行運(yùn)動(dòng)估計(jì)，導(dǎo)致其速度和精度往往受到配準(zhǔn)速度和精度的限制。而基于學(xué)習(xí)的方法可以避免這一過(guò)程，成為

8、了當(dāng)前SR重建技術(shù)研究的熱點(diǎn)領(lǐng)域。它通過(guò)機(jī)器學(xué)習(xí)方法從訓(xùn)練樣本中產(chǎn)生學(xué)習(xí)模型，在對(duì)輸入的LR圖像進(jìn)行恢復(fù)的過(guò)程中引入由學(xué)習(xí)模型獲得的先驗(yàn)知識(shí)，以得到圖像的高頻信息，達(dá)到提高圖像分辨率的目的。因此，該類方法需要同時(shí)有原始HR圖像和對(duì)應(yīng)LR圖像構(gòu)建訓(xùn)練集。但是，肺4D-CT數(shù)據(jù)在軸向都是低分辨率的，無(wú)法獲取冠矢狀面的原始HR圖像。于是，選取何種數(shù)據(jù)來(lái)構(gòu)建訓(xùn)練集是我們所面臨的第一個(gè)問(wèn)題。
　　另外，基于學(xué)習(xí)的SR重建算法，其訓(xùn)練和重建過(guò)

9、程均是以圖像塊為處理對(duì)象的，因此需要將圖像劃分為一系列重疊圖像塊。一般采用的圖像分塊方式是基于單一尺度的。但是，肺4D-CT圖像的解剖結(jié)構(gòu)特征卻是存在于不同尺度之下的。因此，如何設(shè)定圖像塊的大小，以適應(yīng)于肺部不同尺度下的解剖信息，是我們所面臨的第二個(gè)問(wèn)題。
　　針對(duì)以上兩個(gè)問(wèn)題，我們提出了一種基于圖像自相似性的多尺度稀疏表示肺4D-CT圖像超分辨重建方法。該算法不僅很好地解決了以上兩個(gè)難題，更重建出了視覺效果和量化評(píng)價(jià)均較優(yōu)的HR

10、圖像。其詳細(xì)內(nèi)容如下:
　　(1)我們利用圖像的自相似性來(lái)解決構(gòu)建訓(xùn)練集的問(wèn)題。圖像自相似性的提出源自于對(duì)圖像的觀察，發(fā)現(xiàn)一些細(xì)小的結(jié)構(gòu)在整幅圖像中重復(fù)出現(xiàn)。此概念已經(jīng)被廣泛地用于一系列圖像處理技術(shù)之中。本文中我們研究了圖像塊尺寸分別為16×16，8×8和4×4的冠矢狀面圖像同橫斷面圖像之間的自相似性，并采用結(jié)構(gòu)相似性(Structure Similarity，SSIM)這一指標(biāo)來(lái)度量圖像塊之間的相似性。實(shí)驗(yàn)結(jié)果表明，冠矢狀面圖像

11、同橫斷面圖像不同尺度下的組織結(jié)構(gòu)均存在一定的相似性?；诖讼嗨菩?，面對(duì)缺失冠矢狀面HR圖像的情形，我們采用橫斷面的HR和LR圖像塊作為訓(xùn)練集。
　　(2)建立好訓(xùn)練集，我們采用基于稀疏表示的SR重建技術(shù)來(lái)生成HR圖像。該算法的核心思想就是將HR圖像塊和其對(duì)應(yīng)的LR圖像塊組對(duì)，用圖像塊對(duì)作為訓(xùn)練數(shù)據(jù)，聯(lián)合訓(xùn)練得到HR字典DH及LR字典DL。這種聯(lián)合訓(xùn)練的目的是為了保證成對(duì)的HR和LR圖像塊具有相同的稀疏表示。因此，對(duì)于輸入的LR圖像

12、塊，可以直接利用它經(jīng)字典DL表示后的稀疏系數(shù)，再通過(guò)字典DH，重建得到對(duì)應(yīng)的HR圖像塊。將所有的HR圖像塊拼接后，即可輸出完整的HR圖像。
　　(3)考慮到肺部圖像解剖結(jié)構(gòu)特征存在于不同尺度之下的數(shù)據(jù)特性，我們引入了多尺度策略。圖像多尺度分析最早可以追溯到1980年，先前的大量引入此策略構(gòu)建多尺度字典的算法，均是建立在預(yù)先設(shè)定字典的基礎(chǔ)之上。近年來(lái)，基于學(xué)習(xí)的多尺度字典構(gòu)建方法得到了學(xué)者們的廣泛關(guān)注。本文，我們結(jié)合不同尺度下冠矢狀

13、面與橫斷面圖像自相似的研究結(jié)果，采用四叉樹劃分原則，構(gòu)建多尺度圖像塊，并通過(guò)字典學(xué)習(xí)的方法訓(xùn)練得到全局多尺度字典，實(shí)現(xiàn)基于圖像自相似性的多尺度稀疏表示肺4D-CT圖像超分辨率重建。實(shí)驗(yàn)結(jié)果表明，該方法在視覺評(píng)價(jià)和定量評(píng)估方面均優(yōu)于基于單一尺度的稀疏表示算法，雙線性插值算法及POCS算法，并且避免了POCS算法中對(duì)結(jié)果速度及精度造成限制的圖像配準(zhǔn)步驟。
　　本文實(shí)驗(yàn)數(shù)據(jù)來(lái)源于德州大學(xué)安德森癌癥中心DIR實(shí)驗(yàn)室提供的一套公共可用的肺4

14、D-CT數(shù)據(jù)集。該數(shù)據(jù)集由10組肺4D-CT數(shù)據(jù)組成;每組數(shù)據(jù)包含10個(gè)相位，包括極端的吸氣和呼氣時(shí)段。利用此數(shù)據(jù)集，我們對(duì)本文提出的兩種方法分別進(jìn)行了仿真數(shù)據(jù)和真實(shí)數(shù)據(jù)的實(shí)驗(yàn)驗(yàn)證。
　　(i)仿真實(shí)驗(yàn):由于數(shù)據(jù)集僅有橫斷面HR圖像。因此，我們利用橫斷面圖像按照退化模型生成多幅LR仿真圖像進(jìn)行實(shí)驗(yàn)研究。不僅從視覺和量化評(píng)價(jià)兩方面對(duì)本文算法的重建結(jié)果進(jìn)行評(píng)價(jià)。同時(shí)還對(duì)算法中涉及到的重要參數(shù)進(jìn)行相關(guān)分析。
　　(ii)真實(shí)數(shù)據(jù)實(shí)

15、驗(yàn):選取數(shù)據(jù)集中不同數(shù)據(jù)不同相位下的冠矢狀面LR圖像，利用本文提出超分辨率方法重建，從視覺方面對(duì)重建結(jié)果進(jìn)行比較評(píng)價(jià)。
　　實(shí)驗(yàn)結(jié)果表明，在視覺評(píng)價(jià)方面，與全局POCS算法相比，本文提出的基于分塊的POCS算法能夠有效消除偽影重建出更加準(zhǔn)確的圖像;與三次樣條插值算法和背投影(Back Projection，BP)算法相比，該方法所重建的HR圖像其邊緣和細(xì)節(jié)均得到顯著增強(qiáng)。對(duì)比基于單一尺度的算法，本文提出的基于圖像自相似性的多尺度稀